StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization

이 논문은 영화와 게임 등의 사전 시각화를 한 번에 만든 영상이 아니라 계속 편집할 수 있는 3D 세계 상태로 다루는 StateFlow를 제안했다.

이 논문은 한마디로 장면을 고칠 때마다 영상을 처음부터 다시 만들지 않고, 물체와 카메라 정보가 담긴 3D 세계를 계속 수정하는 방법을 제안한다. StateFlow는 정면 이미지와 위에서 본 이미지를 함께 사용해 초기 세계를 만들고, 사용자 요청이 들어오면 관련된 물체 상태만 바꾼다. 카메라 경로도 실제 렌더링 결과를 확인하면서 가림, 구도, 충돌 문제를 고친다. 다만 외부 생성 모델의 처리 속도에 의존해 아직 실시간으로 작동하지는 않는다.

핵심 요약

• 세계를 각 물체의 3D 모양, 위치와 자세, 의미 속성으로 구성된 편집 가능한 상태로 저장한다.
• 정면 이미지는 물체 외형에, 위에서 본 이미지는 공간 배치에 활용하고 두 정보가 충돌하면 시각 언어 모델로 조정한다.
• 장면 확장, 스타일 변경, 물체 이동과 자세 변경을 상태 일부의 수정이나 자산 교체로 처리해 전체 장면 재생성을 줄였다.
• 카메라 경로를 먼저 제안한 뒤 렌더링 결과를 확인해 대상 가림, 나쁜 구도, 충돌 위험과 불안정한 움직임을 수정한다.
• VBench 평균은 0.8484로 비교 방법 중 가장 높았고, 사용자 30명 평가에서 장면과 영상의 종합 점수는 모두 5점 만점에 4.5점이었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.