JoyAI-RA 0.5: Scaling Robot Manipulation Learning via Dual Action Alignment

인간 1인칭 비디오에서 로봇 조작까지 이종 데이터를 이중 정렬로 통합하는 로봇 정책 프레임워크를 제안했다.

이 논문은 한마디로 로봇 데이터 부족 문제를 인간 동영상·시뮬레이션·실제 로봇 데이터를 함께 쓰는 방법으로 푼 것이다. JoyAI-RA 0.5는 잠재 행동 정렬(암묵적)과 정규 행동 표현(명시적)으로 이종 데이터를 통합한다. 인간 1인칭 비디오 53K시간 이상을 학습에 활용해, 데이터가 늘어날수록 로봇 조작 성능이 올라가는 스케일링 효과를 확인했다.

핵심 요약

• 인간 동영상에서 잠재 행동을 추출해 물리적 역학을 학습하는 세계 모델(LAC-WM)을 구축했다.
• 인간과 로봇 궤적을 통일된 물리 행동 공간으로 정렬하는 명시적 정렬 방식을 제안했다.
• 내외부 루프 강화학습으로 빠른 적응과 기반 정책 개선을 동시에 달성했다.
• 인간 1인칭 비디오 스케일이 커질수록 로봇 성능이 일관되게 향상되고, 정체가 없다.
• 실제 AgiBot 로봇에서 본 작업과 새로운 변형 모두에서 강력한 성능을 보였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.