Video Generation Meets Agent Harness: Agentic Video Generation, Agentic World Modeling and Recursive Self-Improvement

이 보고서는 영상 생성과 에이전트 하니스가 만나는 지점을 영상 제작, 세계 모델, 재귀적 자기 개선 세 방향으로 정리한 조사다.

이 논문은 한마디로 영상 생성 모델을 둘러싼 에이전트 하니스를 단위 분석 삼아 세 설정을 하나로 묶은 조사 보고서다. 첫째로 에이전트적 영상 제작에서 하니스가 계획, 자산, 촬영, 편집을 조율하는 방식을 정리했다. 둘째로 에이전트적 세계 모델에서 관측, 제어, 상태를 하니스가 어떻게 매개하는지와 엔진이 상태를 들고 영상 모델이 그리는 하이브리드 설계를 분석했다. 셋째로 재귀적 자기 개선 관점에서 출력 수정과 하니스, 생성기, 개선 절차 갱신을 구분하고 아직 절차 자체를 고친 시스템은 없다고 밝혔다.

핵심 요약

• 보고서는 에이전트 하니스를 문맥 구성, 도구 노출, 상태 유지, 피드백 경로, 예산 집행을 담당하는 실행 런타임으로 정의하고 영상 생성 전반에 적용했다.
• 에이전트적 영상 제작 파트에서는 하니스가 대본과 슛 계획, 자산 관리, 촬영, 편집, 출처 표시를 공유 프로젝트 상태로 묶어 조율한다고 정리했다.
• 세계 모델 파트에서는 가벼운 게임 엔진이 세계 상태와 상호작용 규칙을 들고 있고 자기회귀 영상 모델이 그 결과를 화면으로 그리는 실행 가능한 게임 하니스 설계를 분석했다.
• 실시간 사례로 한 장의 H100에서 약 32 frames per_second 계산 속도와, 키 입력에서 화면 표시까지 112 milliseconds에 도달한 시스템을 소개했다.
• 재귀적 자기 개선 파트에서는 현재 출력 수정, 하니스 상태 갱신, 생성기 파라미터 갱신, 개선 절차 자체의 변경을 구분했고 검토한 시스템 중 생성기를 학습하고 검증하는 절차를 고친 사례는 아직 없다고 밝혔다.
• 남은 과제로 자율 영상 제작, 평생 기억, 프로그램과 화소의 하이브리드 생성, 사람 개입 없는 모델 개발, 출처 추적과 비용 계산을 들었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.