WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory

LLM으로 3D 궤적을 오케스트레이션하고 비디오 생성과 결합하여 객체 영속성과 동적 메모리를 보장하는 제어 가능한 비디오 세계 시뮬레이터 프레임워크.

WorldDirector는 동적 객체 메모리와 제어 가능한 시점 탐색을 갖춘 비디오 세계 모델 프레임워크이다. LLM이 사용자 명령을 3D 경계상자 및 카메라 궤적으로 변환하고, 이를 2D 투영하여 비디오 생성의 위치 조건으로 사용한다. Appearance Binding 메커니즘으로 객체가 화면에서 사라졌다 재등장할 때 외형 정합성을 보장하며, spatial-aware cross-attention으로 객체별 텍스트 프롬프트를 해당 영역에 라우팅한다. 실험 결과 PSNR, SSIM, LPIPS 및 동적 객체 일관성(DSC)에서 기존 방법들을 능가했다.

핵심 요약

• 동적 객체의 움직임 계획과 비디오 합성을 명시적으로 분리 — 물리적 논리와 외형 안정성 동시 보장
• LLM 오케스트레이터가 3D 궤적 생성 → 2D 투영으로 비디오 생성 모델에 위치 조건 제공
• Appearance Binding: 객체가 화면 밖에 있던 시간과 무관하게 재등장 시 외형 정합성 보존
• PSNR 18.127, SSIM 0.502, LPIPS 0.359로 모든 재구성 메트릭에서 SOTA
• 동적 객체 일관성 DSC_DINO 0.769, DSC_CLIP 0.917로 기존 방법 대비 압도적 우위
• Promptable World Events로 초기 프레임에 없는 새 객체의 등장 시점·동작·궤적까지 자유롭게 설계 가능

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.