PanoWorld: Real-World Panoramic Generation

파노라마 세계 모델의 장기 기억 문제를 회전 등변성을 활용해 해결하는 PanoWorld 프레임워크와 World360 데이터셋을 제안한다.

PanoWorld는 파노라마 표현의 회전 등변성을 활용해 카메라 궤적을 평행이동만으로 단순화하고, DPRC(Dense Panoramic Ray-Conditioning)와 GMA(Geometry-aware Memory Augmentation)로 현재 동작 모델링과 장기 기억을 동시에 처리한다. 3단계 훈련 파이프라인으로 각 구성 요소를 점진적으로 최적화하며, 70K 실제 드론 영상과 50K 시뮬레이션 영상으로 구성된 World360 데이터셋을 구축했다. 실험에서 PanoWorld는 Matrix-3D, OmniRoam 등 기존 방법을 큰 폭으로 능가했으며, 720p에서 FID 16.93을 기록했다.

핵심 요약

• 파노라마 ERP의 회전 등변성을 활용해 회전을 기하 변환으로 처리, 평행이동만 명시 모델링
• DPRC: 파노라마 레이 기반 밀집 조건부로 정확한 동작 제어, GMA: 기하 인식 메모리 증강으로 장면 지속성 확보
• World360 데이터셋: 70K 실제 UAV 클립 + 50K AirSim360 시뮬레이션, 다고도 비행 궤적 포함
• Matrix-3D 대비 FID 27.64→(480p), 16.93→(720p), PSNR 궤적 정확도 2~4점 향상
• Causal Forcing 기반 실시간 생성: H20 GPU 1장에서 161프레임 8초 생성 (기존 ~4분48초)
• 3단계 훈련 파이프라인으로 모델링·메모리·제어를 점진적 최적화

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.