Wan-Animate-2: Pushing the Application Boundaries of Character Animation

중간 모션 추출기 없이 드라이빙 비디오를 직접 처리하는 엔드투엔드 캐릭터 애니메이션 프레임워크이자 실시간 스트리밍 변형을 제공한다.

이 논문은 한마디로 참조 영상의 움직임을 다른 캐릭터에 자연스럽게 입히는 기술을 엔드투엔드로 처리하면서, 실시간 스트리밍까지 가능하게 만든 것이다. Wan-Animate-2는 중간 모션 추출기를 없애고 드라이빙 비디오를 확산 트랜스포머에 직접 넣는다. 텍스트로 시점 제어도 가능하고, Lite 버전은 24fps 실시간 생성을 달성했다.

핵심 요약

• 중간 모션 추출기(스켈레톤·SMPL)를 제거하고 드라이빙 비디오를 DiT에 직접 주입했다.
• 이중 브랜치 설계·시간 정렬 RoPE·희소 참조 어텐션으로 충실도와 효율을 잡았다.
• 텍스트 프롬프트로 출력 카메라 시점을 제어하는 Viewpoint LoRA를 도입했다.
• Wan-Animate-2-Lite는 3단계 훈련(teacher forcing·error buffer·self-forcing)으로 24fps 실시간 달성.
• 사용자 연구에서 상용 폐쇄소스(Dreamina·Kling)와 동급이거나 더 좋다는 평가를 받았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.