Embodied Playground: A Long-Horizon Agentic Robotics Benchmark for Physical, Strategic, and Spatial Reasoning

이 논문은 파운데이션 모델 에이전트의 긴 시간 로봇 과제 해결력을 재는 Embodied Playground 벤치마크를 소개한 연구다.

이 논문은 한마디로 물리·전략·공간 추론을 긴 시간에 걸쳐 묶어 시험하는 로봇 에이전트 벤치마크를 만든 연구다. 놀이터는 410개 과제 환경으로 이루어졌고, 대표 100과제 EP-100과 난도 갈라진 EP-Easy·EP-Hard, 소형 EP-20을 제공한다. 공통 규약은 관측·도구 접근 단계와 자원 예산, 반복 시행, 독립적인 목표·규칙·물리 타당성 검사를 정한다. 최신 모델 둘을 돌린 결과 성공률은 낮고 고르지 않았다.

핵심 요약

• 놀이터는 기본 조작, 순서 퍼즐, 여러 단계 집안일을 아우르는 410개 과제 환경으로 이루어졌다.
• 대표 평가집 EP-100은 다섯 묶음과 16가지 과제 형태의 100과제로 골랐고, EP-Easy와 EP-Hard 난도 나눔과 소형 EP-20도 함께 제공했다.
• GPT-6-Astra는 EP-100에서 Pass@1 13.80%, Pass@2 19.94%를 기록했다.
• Opus-5.5-extra는 같은 평가에서 Pass@1 29.22%, Pass@2 35.85%를 기록했다.
• GPT-6-Astra 기준 EP-Easy는 Pass@1 18.42%, Pass@2 27.41%였고 EP-Hard는 8.81%와 12.01%였다.
• 감사에서는 645건 실패 가운데 574건(88.99%)이 규칙이나 허용 오차 공개 부족과 얽혀 있다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.