EmbodiedLab: Benchmarking Embodied Agents That Act to Know

이 논문은 로봇이 직접 장비를 조작해야만 정답을 알 수 있는 몸으로 아는 과제를 30개 정량 과학 실험 벤치마크로 구현해 풀었다.

이 논문은 한마디로 로봇이 물리 시스템의 상태를 바꾸고 계기 판독을 통해 알아내는 '행위로 알기' 과제를 측정하는 벤치마크 EmbodiedLab을 제안했다. 다섯 분야 30개 정량 실험을 14개 실험대에서 시뮬레이션으로 수행하며 매 사례마다 숨은 파라미터를 다시 뽑아 정답을 미리 알 수 없게 한다. 성공은 결과의 정확도, 그 에피소드의 측정 증거, 실험대 복원을 모두 요구한다.

핵심 요약

• EmbodiedLab은 다섯 분야 30개 실험을 14개 실험대에서 수행하며 에이전트가 목표와 장비만 받고 절차를 스스로 정하게 했다.
• 성공은 결과가 기기 허용 오차 안에 들고 같은 에피소드에서 기록된 판독에 근거하며 실험대를 과제가 요구하는 상태로 남길 때만 인정된다.
• 여섯 최전선 모델을 평가한 결과 T0 최저 인터페이스에서 최고 성공률은 Claude Opus 5.5의 43.3%였고 GPT-6 Astra가 40.0%로 따랐다.
• 모든 에이전트에서 장비 조작, 관측, 복원을 합치면 실패의 75%에서 100%를 차지했고 이미 확보한 판독의 추론 실패는 최대 25%였다.
• 지각과 운동 계획을 더한 T1은 성공률을 최대 10점 올리는 데 그쳤고 조작 스킬을 더한 T2는 약한 에이전트를 10점에서 27점 올렸다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.