OMG: Omni-Modal Motion Generation for Generalist Humanoid Control

휴머노이드 전신 제어를 위한 omni-modal 모션 생성 프레임워크 OMG. 언어·오디오·인간 모션 참조를 조건으로 전신 궤적을 생성하는 diffusion 기반 접근이다.

OMG는 확장 가능한 모션 생성 브레인과 반응형 모션 추적 소뇌의 계층 구조를 통해 휴머노이드 전신 제어를 일반화한다. 1000시간 이상의 OMG-Data 코퍼스를 큐레이션하고, OMG-DiT라는 diffusion transformer 백본이 언어, 오디오, 인간 참조 모션과 그 조합을 로봇 실행 가능 궤적으로 매핑한다. 새로운 모달리티는 경량 인코더로 확장 가능하며, 제로샷 조합, 모델 스케일링, few-shot 적응 등 파운데이션 모델 특성을 보여준다.

핵심 요약

• 모션 생성 브레인 + 모션 추적 소뇌의 계층 구조로 휴머노이드 전신 제어 일반화
• OMG-Data: 1174.66시간의 omni-modal 휴머노이드 모션 코퍼스 (언어/오디오/인간 모션)
• OMG-DiT: 언어·오디오·인간 참조를 조건으로 하는 diffusion transformer, 새 모달리티 확장 가능
• 텍스트-모션에서 FID 6.03(OMG-XL), 기존 방법 대비 대폭 향상
• 제로샷 조합성: 학습되지 않은 언어+오디오 조합을 추론 시 결합 가능
• 모델 스케일링(B/L/XL)에 따른 일관한 성능 향상 확인

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.