Cracking Mobile Manipulation: From Failure Diagnosis to Agentic Robot System

긴 시간 이동하며 물건을 다루는 로봇이 어디서 실패하는지 분석해, 정책을 바꾸지 않고 병목마다 에이전트 개입을 더해 성공률을 19%에서 47%로 끌어올린 논문이다.

이 논문은 한마디로 잘하는 하위 기술을 묶어도 이동 조작 성공률이 19%에 그치는 까닭을 실패 분석으로 밝히고, 병목에 맞는 에이전트 개입으로 성공률을 47%까지 올린 연구다. 사전학습된 부분과제 VLA는 단독 과제에서 80% 성공하지만 긴 이동 조작에서는 19%만 성공했다. 실패 원인은 작업 계획, 항법과 기저 자세, 국소 조작 세 가지로 나뉘었다. 각 병목에 시연 기반 계획 안내, 적응형 시각 기억, 접근성 판단 기저 조정, 엔드 이펙터 조정을 더하니 성공률이 단계적으로 올라갔다.

핵심 요약

• 사전학습된 부분과제 VLA는 원자 과제에서 80% 성공하지만, 이들을 묶은 이동 조작에서는 19%만 성공하는 큰 격차를 보였다.
• 100개 에피소드의 실패를 분석해 주된 실패가 작업 계획 21.0%, 항법과 기저 자세 25.9%, 국소 조작 53.1% 세 범주로 나뉨을 밝혔다.
• 정책은 그대로 두고 시연 기반 계획 안내, 적응형 시각 기억, 접근성 판단 기저 조정, 엔드 이펙터 조정을 더하자 RoboCasa365 성공률이 19%에서 47%로 올라갔다.
• 설계를 고정한 뒤 본 시험에서는 성공률이 기준선 18% 대비 49%로 올라갔고, 짝 비교에서 p < 0.001 유의미함을 확인했다.
• BEHAVIOR-1K에서는 14%에서 37%로, 실제 로봇 두 과제에서는 5/20에서 13/20으로 성적이 올라갔다.
• 개입이 더해지자 남은 실패의 중심이 조작 쪽으로 옮겨갔고, 최종 시스템의 53건 실패 중 47건이 조작 실패였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.