GenRecon: Bridging Generative Priors for Multi-View 3D Scene Reconstruction

뮌헨공과대학교와 화웨이 테크놀로지스의 연구진은 객체 수준 생성 모델을 적응시켜 희소한 다시점 이미지로부터 3D 장면 전체의 고충실도, 완전, 재조명 가능한 PBR 메시를 재구성하는 방법인 GenRecon을 개발했다.

GenRecon은 여러 시점의 RGB 이미지에서 편집과 재조명이 가능한 고품질 3차원 장면 메시를 복원하는 방법이다. 큰 장면을 서로 겹치는 공간 청크로 나누고, 각 청크를 강한 객체 생성 사전인 Trellis.2로 조건부 생성한 뒤 전역 장면으로 합친다. 카메라 자세가 있는 이미지 특징을 순서와 무관한 3차원 조건 표현으로 투영해 생성 결과를 실제 장면 위치에 고정한다. 합성 및 실제 실내 장면 평가에서 최신 복원 방법보다 16% 높은 결과를 보고했으며 PBR 재질을 포함한 완전한 메시를 만든다. 다만 유리와 거울 같은 비램버시안 표면에 약하고 약 5미터 높이의 실내 장면을 전제로 하며, 관측 증거가 약한 영역에서는 생성 사전이 내용을 만들어낼 수 있다.

핵심 요약

• 이러한 청크별 예측은 겹치는 영역의 값을 평균하여 전역 격자로 다시 병합된다.
• 확장성: 청크 기반 생성은 이전에는 단일 객체에만 제한되었던 생성 모델을 크고 여러 방으로 이루어진 장면에 적용할 수 있게 한다.
• 기하 제어: 공간에 기반한 조건화는 생성 모델의 환각이 카메라 자세와 입력 이미지로 정의된 물리적 실재에 고정되도록 보장한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.