Latent Riemannian Flow Matching for Geometry-Grounded 3D Foundation Models

3D 기하학 파운데이션 모델(VGGT)의 잠재 공간에서 직접 리만 플로우 매칭을 수행해 3D 장면을 생성하는 방법.

이 논문은 한마디로 3D 기하학 파운데이션 모델(VGGT)의 잠재 공간에 플로우 매칭(생성 모델 기법)을 직접 적용해서, 적은 사진만으로도 그럴듯한 3D 장면을 생성하는 연구다. 핵심 발견은 VGGT의 토큰들이 유클리드 공간이 아니라 4개 초구(hypersphere)의 곱 manifolds에 존재한다는 것이다. 이를 무시하고 일반 플로우 매칭을 쓰면 모드 붕괴가 일어나지만, 리만 플로우 매칭을 쓰면 정상적으로 작동한다. ScanNet++와 ETH3D에서 기존 방법 대비 40~70% 이상 향상된 3D 재구성 품질을 보였다.

핵심 요약

• VGGT 토큰이 4개 초구의 곱 다양체 위에 있다는 것을 발견하고, 리만 플로우 매칭을 적용했다.
• 유클리드 플로우 매칭 대비 리만 버전이 모든 지표에서 일관되게 향상됐다 (LPIPS ~44% 개선).
• 단일 입력 뷰만으로도 작동하며, 순서에 무관하다.
• ScanNet++에서 Chamfer 거리 40% 이상, ETH3D에서 70% 이상 감소했다.
• 생성된 3D 스캔이 문맥 프레임과 정렬되어 일관된 장면 재구성을 가능하게 한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.