RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies

로봇 조작 정책 평가용 통합 sim-and-real 벤치마크 RoboDojo를 제안한다. 42개 시뮬레이션 태스크와 18개 실세계 태스크로 5개 역량 차원을 평가한다.

RoboDojo는 범용 로봇 조작 정책을 종합적으로 평가하기 위한 통합 시뮬레이션-실세계 벤치마크다. 42개 시뮬레이션 태스크(일반화, 기억, 정밀도, 장기 계획, 개방형 명령 이해)와 18개 실세계 태스크를 통해 정책의 한계를 구조적으로 진단한다. XPolicyLab 인프라를 통해 30개 정책을 통합 평가하였으며, 현재 로봇 정책이 물리적 환경에서 여전히 신뢰할 수 없음을 입증했다.

핵심 요약

• 42개 시뮬레이션 + 18개 실세계 태스크로 5개 역량 차원(일반화, 기억, 정밀도, 장기 실행, 개방 명령) 평가
• Isaac Sim 기반 이기종 병렬 시뮬레이션으로 평가 처리량 대폭 향상
• RoboDojo-RealEval: 표준화된 하드웨어·장면 리셋·평가 프로토콜로 재현 가능한 실세계 평가 시스템
• XPolicyLab에 30개 정책 통합 후 공개 리더보드 구축, 시뮬/실세계 교차 평가 수행
• 시뮬레이션 평이 GPU 간 표준편차 최대 1.1%p, 실세계 반복 평가 표준편차 최대 1.3%p로 안정성 확인

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.