TriSplat: Simulation-Ready Feed-Forward 3D Scene Reconstruction

TriSplat은 방향성 삼각형 primitive를 사용해 단일 forward pass로 시뮬레이션 가능한 mesh를 직접 출력하는 feed-forward 3D 장면 복원 네트워크다. 별도의 후처리 mesh 추출 없이 물리 엔진에 바로 활용할 수 있다.

TriSplat은 희소 뷰 이미지에서 oriented triangle primitive를 예측하여 시뮬레이션 준비가 완료된 mesh를 한 번의 forward pass로 생성하는 feed-forward 복원 네트워크다. 예측된 point map에서 기하학적 법선을 구성하고 이미지 조건부 normal head로 정제하며, mono-normal bootstrapping과 opacity/blur scheduling으로 학습을 안정화한다. RealEstate10K와 DL3DV에서 Gaussian 기반 baseline 대비 더 정확한 기하학 복원을 달성하면서도 경쟁적인 렌더링 품질을 보였다. 출력이 곧 mesh이므로 TSDF fusion 등 후처리가 필요 없어 물리 시뮬레이션과 게임 엔진에 즉시 활용 가능하다.

핵심 요약

• Gaussian 대신 oriented triangle을 primitive로 사용하여 렌더링 결과물이 곧 mesh가 되는 구조 제안
• 예측된 point map에서 법선을 유도하고 image-conditioned U-Net으로 정제하여 삼각형 방향을 기하학에 고정
• Mono-normal bootstrapping + validity-aware masking으로 초기 학습 안정화, opacity/blur scheduling로 점진적 표면 선명화
• RealEstate10K·DL3DV에서 Gaussian feed-forward baseline 대비 우수한 geometry fidelity 및 경쟁적 NVS 품질 달성
• Zero-shot ScanNet 평가로 cross-dataset 일반화 능력 확인
• TSDF fusion 등 후처리 없이 physics engine·collision detector·표준 렌더링 파이프라인에 직접 활용 가능

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.