SceneBot: Contact-Prompted General Humanoid Whole Body Tracking with Scene-Interaction

SceneBot은 휴머노이드 로봇을 위해 참조 모션과 per-link 접촉 라벨을 조건으로 받는 최초의 통합 전신 모션 트래킹 프레임워크다.

SceneBot은 휴머노이드 로봇이 자유 공간 보행, 불규칙 지형 통과, 전신 객체 조작을 단일 정책으로 수행할 수 있게 하는 contact-conditioned 모션 트래킹 프레임워크다. 핵심 혁신은 per-link contact label을 정책 조건으로 추가하여, 로봇이 어느 부위가 환경과 접촉해야 하는지 명시적으로 알 수 있게 하는 것이다. 부족한 상호작용 데이터는 hindsight scene reconstruction으로 해결하며, 7.5시간의 재구성된 contact-rich 데이터로 훈련해 unseen 모션과 환경으로 일반화한다.

핵심 요약

• 참조 모션 + per-link contact label을 정책 조건으로 사용하여 free-space와 contact-rich 행위를 단일 정책으로 통합 (최초)
• Hindsight scene reconstruction: retargeted human motion에서 scene-interaction graph를 추론하고 terrain/object asset을 역으로 재구성
• 7.5시간의 contact-rich 훈련 데이터(AMASS + OMOMO + Bones + Lafan 조합)로 unseen 모션/환경 일반화 달성
• Global root tracking이 필수적: 없으면 terrain 성공률 100%→45%, 객체 과제 95%→20%로 급락
• Contact label 제거 시 객체 파지 성공률이 0%에 수렴, 접촉 라벨의 결정적 역할 입증
• 실제 Unitree G1에서 평균 root 위치 오차 0.032m, 회전 오차 0.018rad로 state estimation 성능 확인

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.