$ω$-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation

휴머노이드 로봇이 걸으면서 동시에 물건을 조작하는 전신 협동 제어를 위한 잠재 예측 세계-행동 모델을 제안했다.

이 논문은 한마디로 휴머노이드 로봇이 '걸으면서 물건을 닦거나 옮기는' 동시 협동 동작을 하나의 모델로 처리하는 방법을 제안한 것이다. ω-0은 미래 비디오를 생성하는 대신, 잠재 공간에서 미래 관측을 예측하고 전신 행동을 생성한다. 40시간 실제 가정환경 데이터셋(ω-HOME)으로 학습해 11가지 가사 작업을 단일 모델로 수행했다.

핵심 요약

• 이동과 조작을 분리하지 않고 전신 협동 동작을 하나의 모델로 학습시켰다.
• 미래 비디오 생성 대신 잠재 임베딩 예측(가벼운 세계 모델)으로 행동 품질을 높였다.
• 40시간 규모 실제 가정환경 휴머노이드 데이터셋(ω-HOME)을 구축하고 공개했다.
• 11가지 가사 작업을 단일 모델로 수행하며 기존 모방학습·VLA·WAM 기법들을 능가했다.
• 인간 동영상 데이터를 시뮬레이션 재생을 통해 로봇 실행 가능한 행동으로 변환하는 파이프라인을 제안했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.