World Action Models: A Survey

World Action Model(WAM)을 예측-제어 결합 관점에서 체계적으로 정의하고 분류한 종합 서베이.

본 서베이는 World Action Models(WAMs)를 '미래 예측을 행동에 활용하는 embodied 예측-행동 모델'로 정의하고, 비디오 생성 모델, VLA, 세계 모델과의 경계를 명확히 한다. 예측 기질(substrate), 백본, 행동 결합 방식, 배포 체제별로 200개 이상 연구를 분류하며, 상호작용성, 인과성, 지속성, 물리적 타당성, 일반화라는 핵심 속성을 정의한다. WAM은 단순한 비디오 생성기+행동 헤드가 아니라, 계산·메모리·레이턴시와 행동 라벨 비용 간의 트레이드오프를 다루는 설계 문제임을 강조한다.

핵심 요약

• WAM 정의: 관측+행동 이력과 태스크 컨텍스트로부터 행동 가능한 미래를 예측하며 행동을 생성하는 모델
• 2가지 분류 축: (1) 무엇을 생성해야 하는가(rendered/latent/free), (2) substrate/backbone/coupling/deployment 분해
• 5가지 핵심 속성: interactability, causality, persistence, physical plausibility, generalization
• 200+ 연구를 diffusion/autoregressive/joint/optional-future 등 5종 백본 패밀리로 체계 분류
• 핵심 통찰: WAM은 '덜 생성하면서 제어에 필요한 부분만 보존'하는 방향으로 진화 중

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.