Geometry Gaussians: Decoupling Appearance and Geometry in Gaussian Splatting

새로운 시점 합성을 위한 3D Gaussian Splatting(3DGS)의 성공 이후, 많은 연구가 이를 기하 표면 표현에도 활용하는 방법을 탐구해 왔다.

기본 3D 가우시안 스플래팅은 새로운 시점의 영상을 잘 만들지만, 색과 표면 기하를 같은 파라미터로 표현해 두 목표가 충돌할 수 있다. 저자들은 완전한 정답 색과 기하 정보로 학습해도 기본 구조가 두 정보를 동시에 정확히 담기 어렵다는 점을 확인했다. 해결책은 각 가우시안에 기하 전용 불투명도 파라미터 하나를 더하고, 필요하면 투명 물체에 맞춘 최적화 절차를 적용하는 것이다. 이 작은 변경은 NeRF Synthetic, DTU, Translab, Mip-NeRF 데이터에서 렌더링과 기하 품질을 함께 높였고 특히 투명한 물체가 있는 복잡한 장면에서 효과가 컸다. 별도의 기하 표현을 하나 더 유지하는 방식보다 가볍고 기존 기하 인식형 파이프라인에 붙이기 쉽다는 점이 실용적이다.

핵심 요약

• 새로운 시점 합성을 위한 3D Gaussian Splatting(3DGS)의 성공 이후, 많은 연구가 이를 기하 표면 표현에도 활용하는 방법을 탐구해 왔다.
• 이 연구는 완전한 정답 텍스처 및 기하 정보로 학습함으로써, 기본 형태의 3DGS가 본질적으로 텍스처와 기하 구조를 동시에 표현하기에 부적합함을 보인다.
• 저자들은 또한 각 스플랫에 단일 추가 기하 불투명도 파라미터를 적용하고, 선택적인 투명도 큐레이션 최적화 파이프라인을 함께 사용하는 간단한 해법을 제안한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.