FlexComposer: Unified Video Compositing from Images to Dynamic Footage with Flexible Trajectory Control

이미지나 영상을 기존 영상 안에 자연스럽게 합성하는 통합 프레임워크다. 사용자가 궤적을 그리면 그 경로를 따라 객체가 움직이면서 배경과 자연스럽게 어우러진다.

이 논문은 한마디로 정지 이미지와 동적 영상 모두를 기존 영상 안에 자연스럽게 끼워 넣는 통합 합성 프레임워크다. 기존 방법은 정지 이미지에서 움직임을 만들어내거나(통제력은 좋지만 동적 자산의 움직임이 사라짐), 대략적인 의미 수준에서 합성하는(통제력 부족) 방식으로 나뉘었는데, FlexComposer는 둘을 하나로 통합했다. 핵심은 전경(끼워 넣을 객체)의 본래 움직임과 사용자가 지정한 궤적 이동을 분리하는 '정규화된 전경 표현'이다. 이를 통해 정지 이미지든 동적 영상이든 같은 파이프라인에서 처리할 수 있고, 추가 학습 모듈 없이도 정밀한 공간 제어가 가능하다.

핵심 요약

• 정지 이미지와 동적 영상을 동일한 프레임워크에서 처리하는 통합 비디오 합성 프레임워크를 제안했다.
• 전경의 본래 움직임과 전역 이동을 분리하는 '통일 정규화 전경 표현'으로 이질적 입력을 표준화했다.
• VAE 잠재 공간의 평행 이동 등변성을 활용한 '공간 인식 잠재 주입'으로 추가 학습 모듈 없이 정밀한 궤적 제어를 구현했다.
• 시뮬레이션 + 실제 영화 영상 + 생성 데이터를 결합한 하이브리드 데이터셋과 합성→실제 커리큘럼으로 조명과 그림자를 자연스럽게 학습했다.
• 시각 품질, 시간적 일관성, 궤적 준수에서 기존 최고 성능 방법들을 능가했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.