PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space

3D 장면 생성과 복원을 pixel space에서 단일 모델로 통합하는 PixWorld를 제안한다. VAE/RAE 없이 differentiable rendering으로 직접 3D 표현을 최적화한다.

PixWorld는 3D 장면 생성과 복원을 pixel-space diffusion으로 통합한 최초의 end-to-end 프레임워크다. VAE/RAE 잠재 공간을 거치지 않고 multi-view 렌더링에서 직접 differentiable rendering으로 3D Gaussian 표현을 최적화한다. geometry perception loss를 통해 3D foundation model의 기하학 인식 특징 공간에서 구조적 감독을 제공하며, 단일 모델로 생성·복원 양쪽에서 SOTA를 달성했다.

핵심 요약

• VAE/RAE 없이 pixel space에서 직접 differentiable rendering으로 3DGS 최적화, 정보 손실 제거
• clean/noisy 뷰 분할로 단일 forward pass에서 생성과 복원을 통합
• geometry perception loss: 3D foundation model 특징 공간에서 기하학적 감독 제공
• RealEstate10K/DL3DV-10K/WorldScore에서 기존 latent-space 생성 방법 능가, SOTA 복원 성능 매칭
• geometry perception loss 제거 시 PSNR 1.13dB, AUC@5 12.5% 상대 감소로 효명성 입증

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.