JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion

이 논문은 실시간 비디오 편집을 위해 16B 파라미터 자회귀 확산 모델을 만들고, 2단계 생성으로 30 FPS를 달성한 연구다.

이 논문은 한마디로 실시간 스트리밍 비디오 편집을 30 FPS로 가능하게 한 첫 시스템이다. 핵심은 오프라인 편집 모델을 스트리밍용으로 바꾸면서 생기는 문제(미래 프레임 못 봄, 누적 오류)를 세 가지 기술로 해결한 것이다. 청크 단위 자회귀 적응, 소스 기반 증류(SA-DMD), 장기 자회귀 증류를 결합해 2단계만에 고품질 편집이 가능하다. 결과적으로 기존 스트리밍 편집기들을 크게 앞서며, 오프라인 시스템과도 경쟁할 수준을 보였다.

핵심 요약

• 16B 파라미터 확산 모델로 720p 실시간 비디오 편집을 B200 GPU 한 장에서 30 FPS로 달성했다.
• SA-DMD(소스 앵커링 증류)로 확산 과정을 2단계로 줄이면서도 원본 영상의 충실도를 유지했다.
• 장기 자회귀 증류로 긴 영상에서 누적되는 색상 드리프트, 외형 변형 문제를 잡았다.
• LongV2VBench라는 긴 영상 편집 벤치마크를 새로 구축해 체계적 평가를 가능하게 했다.
• 기존 스트리밍 편집기들을 성능으로 크게 앞서고, 오프라인 시스템과도 견줄 만한 결과를 냈다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.