Meta SAM 3D 리뷰: 오픈소스 AI 3D 생성 실측

SAM 3D 작동 원리

SAM 3D는 Segment Anything 제품군의 일부입니다. 이미지를 받아 객체를 분할한 후 3D 표현을 생성합니다. 하지만 핵심적으로 이해해야 할 점이 있습니다:

Meta 플레이그라운드를 사용하면 Gaussian Splats 출력만 얻을 수 있습니다. 텍스처가 포함된 메시를 얻으려면 모델을 로컬에서 실행해야 합니다.

놀라운 속도

즉시 눈에 띄는 점은 생성 속도가 놀라울 정도로 빠르다는 것입니다. 생성당 수 분이 걸리는 다른 3D 생성 도구에 비해 큰 장점입니다.

시스템 요구 사항

Meta 공식 문서에는 최소 32GB VRAM이 필요하다고 나와 있지만, 12GB VRAM 미만에서도 지오메트리 생성을 실행하는 데 성공했습니다. Gaussian Splats와 메시 출력 모두 포함입니다.

다만 텍스처를 포함한 전체 파이프라인의 경우 더 많은 VRAM과 Linux가 필요합니다.

품질 비교: SAM 3D vs Hunyuan 2.1

Meta는 다른 오픈소스 모델 대비 80% 선호율을 주장합니다. 직접 Hunyuan 2.1과 비교해 보았습니다.

솔직한 평가로는 80%까지는 아닙니다. 체감상 60-70% 선호율 정도이지만, 많은 경우에서 Hunyuan 2.1보다 확실히 우수합니다.

잘하는 것과 못하는 것

최대 2K 해상도에서도 텍스처가 흐릿한 경향이 있습니다. Gaussian Splats를 베이킹된 텍스처가 있는 메시로 변환하는 과정에서 일부 디테일이 손실되기 때문입니다.

메시 자체는 비교적 단순하지만, 오픈소스 모델로서 전체적인 형태 정확도는 상당히 좋습니다.

이상적인 사용 사례

SAM 3D의 활용 범위는 다소 좁지만 명확합니다:

• •VR/AR 개발 - 빠른 환경 소품 제작
• •Unreal Engine 개발자 - 씬 오브젝트 신속 프로토타이핑
• •Gaussian Splat 워크플로우 - 이미 Splat 기반으로 작업하는 경우

기존 3D 워크플로우(Blender, Maya 등)의 경우, Gaussian Splat 출력이 장애물이 될 수 있습니다. Splat을 열고 변환하는 것은 GLB나 OBJ 파일을 가져오는 것만큼 간단하지 않습니다.

최종 평가

SAM 3D는 오픈소스 3D AI 커뮤니티에 진정으로 흥미로운 릴리스입니다. 속도가 인상적이며, 특정 사용 사례 - 특히 가구, 소품, 환경 오브젝트 - 에서 견고한 결과를 보여줍니다.

한계는 분명합니다: Linux 전용, Gaussian Splat 출력, 흐릿한 텍스처, 유기적 형태에서의 어려움. 하지만 이 모델이 존재하고, 오픈소스이며, 발전하고 있다는 사실 자체가 이 분야에 정말 놀라운 일입니다.