FilmBench: A Film-Grade Benchmark for Cinematic Video Generation

영화 촬영 언어 기준의 영상 생성 벤치마크, 자동 평가 에이전트가 사람 순위 재현.

FilmBench는 실제 영화 제작의 촬영 언어 기준으로 AI 영상 생성을 평가하는 벤치마크다. 수상작 영화에서 역설계한 프롬프트 1169개와 3단계 평가 체계를 쓴다. 자체 개발한 전문가급 자동 평가 에이전트 FilmOps가 사람 순위를 스피어만 0.95 이상으로 재현한다. 어떤 모델도 천장에 못 미쳤고 다중샷과 동적 미학에서 특히 약했다.

핵심 요약

• 전문 감독이 수상작 영화 장면에서 역설계한 프롬프트 1,169개를 구축했으며 이 가운데 1,056개가 다중 샷이다.
• 촬영 언어를 3개 축, 12개 요소, T2V용 35개 세부 지표와 R2V 전용 3개 지표로 나눠 평가한다.
• FilmOps 자동 평가기는 9개 T2V와 7개 R2V 모델의 사람 순위를 각각 스피어만 상관계수 0.95와 0.96으로 재현했다.
• 기존 웹 영상 중심 평가가 놓친 동적 미학과 다중 샷 연속성을 영화 제작 기준으로 비교할 수 있게 한다.
• 다만 영화와 전문 영상 제작에 맞춘 벤치마크라서 세로형 짧은 영상이나 일반 사용자 제작 영상의 성능을 그대로 대표하지는 않는다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.