Exploration Matters for Escaping the Blur Trap in 3D Gaussian Splatting

3D Gaussian Splatting이 특정 구간에서 계속 흐릿해지는 원인을 기울기 편향으로 수학적으로 밝히고, 무작위 씨뿌리기와 무작위 쪼개기라는 단순한 탐색 두 가지로 해결한 논문.

3D Gaussian Splatting(3DGS, 3차원 장면을 가우시안 알갱이로 표현해 실시간 렌더링하는 기법)은 멀리 있는 산이나 가려진 뒤쪽 영역이 학습 뷰를 아무리 늘려도 흐릿하게 남는 고질적 문제가 있다. 저자들은 이를 Blur Trap이라 이름 붙이고, 3D 위치 갱신량이 2D 위치 기울기에 의해 지배되며 그 갱신 방향이 시선 광선과 항상 직각이라는 점을 증명해 깊이 방향 신호가 아예 없음을 보였다. 또 알파 블렌딩(앞뒤 겹침 합성)이 가려진 알갱이의 기울기를 급격히 줄여 밀도 증가 조건이 발동되지 않는다는 점도 함께 지적했다. 해결책으로 무작위 위치에 새 가우시안을 뿌리는 Random Seeding과 기울기와 무관하게 일부를 쪼개는 Random Splitting을 넣었고, 5개 데이터셋에서 두 조작이 각자 담당한 흐림을 서로 보완하며 화질을 올렸다.

핵심 요약

• 핵심 논지는 3DGS의 흐림이 데이터 부족이나 모델 용량 문제가 아니라 최적화 동역학 자체의 편향에서 온다는 것이다.
• 이론적으로 2D 기울기에서 유도된 3D 위치 갱신은 카메라에서 가우시안으로 향하는 시선 광선과 직각임을 증명했고, 2D 위치 성분이 나머지 두 성분보다 학습 내내 2~3자릿수 크게 지배한다고 보고했다.
• 흐림을 두 종류로 나눴다. 깊이 신호가 없어 생기는 먼쪽 흐림, 알파 블렌딩이 밀도 증가 신호를 눌러 생기는 가까운쪽 흐림이다.
• 처방은 아주 단순하다. 무작위 위치에 후보 가우시안을 주기적으로 뿌리고(불량 후보는 불투명도 가지치기로 제거), 누적 기울기와 상관없이 일부 가우시안을 무작위로 쪼갠다.
• Mip-NeRF 360, Tanks and Temples, Deep Blending, OMMO, DL3DV 다섯 데이터셋과 4DGS 확장에서 화질이 올랐고, Tanks and Temples PSNR이 23.73에서 24.37로, DL3DV가 27.16에서 28.43으로 개선됐다.
• 밀도 임계값을 낮춰 억지로 쪼개는 방식은 알갱이 수만 폭증하고 화질은 거의 안 올라, 이득이 단순 개수 증가가 아니라 탐색 자체에서 온다는 점을 대조 실험으로 보였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.