WBench: A Comprehensive Multi-turn Benchmark for Interactive Video World Model Evaluation

WBENCH는 대화형 비디오 월드 모델을 5개 차원(비디오 품질, 설정 준수, 상호작용 준수, 일관성, 물리 준수)에서 평가하는 멀티턴 벤치마크로, 289케이스·1,058상호작용 턴을 포함한다.

WBENCH는 대화형 비디오 월드 모델을 체계적으로 평가하기 위해 비디오 품질·설정 준수·상호작용 준수·일관성·물리 준수라는 5개 차원을 기준으로 설계된 종합 벤치마크다. 289개 테스트 케이스와 1,058개 상호작용 턴이 포함되며, 내비게이션·주체 행동·이벤트 편집·시점 전환의 4가지 상호작용 유형을 다룬다. 22개 자동 서브 지표가 전문 비전 모델과 대형 멀티모달 모델을 결합하여 평가하며, 20개 최신 모델 평가 결과 어느 모델도 모든 차원에서 우수하지 않다는 점을 발견했다.

핵심 요약

• 5개 평가 차원(비디오 품질·설정 준수·상호작용 준수·일관성·물리 준수)으로 구성된 종합 평가 체계
• 289 케이스·1,058 상호작용 턴, 내비게이션/행동/이벤트 편집/시점 전환 4가지 상호작용 유형 포괄
• 내비게이션에서 text, 6-DoF pose, discrete action을 통합하여 다양한 입력 인터페이스 지원
• 22개 자동 서브 지표 + 전문 비전 모델·LMM 결합 평가, 인간 판단과의 정렬 검증
• 20개 SOTA 모델 평가 결과 단일 모델이 모든 차원을 domination하지 못함을 입증
• 모델별 강점·약점·미해결 과제에 대한 상세 진단 인사이트 제공

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.