TARSphere: A Robot-Oriented Full-Stack Framework for Long-Horizon Embodied Agents in Evolving Physical and Social Environments

이 논문은 물리 시뮬레이터와 몸을 가진 NPC 위에서 긴 시간 과제를 수행하는 로봇 에이전트를 평가하는 올스택 프레임워크 TARSphere를 제안한 연구다.

이 논문은 한마디로 바뀌는 물리·사회 환경에서 긴 시간 로봇 에이전트를 실행하고 평가하는 프레임워크와 벤치마크를 통째로 만든 연구다. TARSphere-Infra는 물리 시뮬레이터 안에서 몸을 가진 NPC와 제약 있는 대화를 운영하고, 사건 기반 유한 상태 기계가 과제 상태를 갱신해 결과를 평가한다. TARSphere-Harness는 동결된 MLLM이 관찰, 계층 기억, 실행 피드백으로 결정을 고치게 돕는다. 에이전트 참여 큐레이션으로 30개 실내 장면 360개 에피소드의 TARSphere-Bench를 만들었고, 8개 MLLM을 평가한 결과 범용 모델이 임베디드 모델을 앞섰고 과제 갱신과 사람 상호작용은 여전히 어려웠다.

핵심 요약

• TARSphere-Infra는 물리 시뮬레이터에서 로봇 정책을 실행하고 몸을 가진 NPC와 제약 있는 대화를 함께 운영하는 실행 인프라다.
• TARSphere-Harness는 동결된 MLLM이 다층 실행 기술, 계층 기억, 실행 피드백을 써서 결정을 다시 세우게 하는 두뇌 하니스다.
• 에이전트 참여 큐레이션으로 30개 실내 장면에 걸쳐 360개 에피소드의 TARSphere-Bench를 만들고, 다섯 쌍 조건으로 지각 강인성, 방해 적응, 과제 갱신, 사람 협력, 의도 이해를 평가했다.
• 8개 MLLM 평가에서 범용 모델이 임베디드 모델을 앞섰고, Gemini-3.8-Flash는 항해 40.6%, 배달 47.8% 성공률을 기록했다.
• 모델-과제 그룹 전반에서 충돌은 84-100% 에피소드에서, 추락은 9-47%에서 발생해 실행 안전을 과제 성공과 함께 평가할 필요가 커졌다.
• 완전한 큐레이션 파이프라인은 96.7% 사용 가능 에피소드를 냈고, 다중 에이전트 검토를 빼면 45.0%로 가장 크게 떨어졌다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.