From VLM Planners to Robotic Agents: Self-Evolving Harnesses for History-Dependent Manipulation

이 논문은 고정된 VLA 실행기 위에 편집 가능한 하니스로 VLM 플래너를 에이전트로 조직하고, 실행 경험으로 하니스를 스스로 고쳐 역사 의존 로봇 조작을 개선한 연구다.

이 논문은 한마디로 긴 시간 로봇 조작에서 과거 기록을 기억하고 계획을 고쳐 나가는 자가진화 로봇 에이전트 SERA를 제안한 연구다. SERA는 상위 VLM을 편집 가능한 하니스로 감싸 과제 문맥을 유지·갱신하고, 고정된 VLA가 저수준 제어를 맡는다. 자가진화는 환경 롤아웃으로 하니스 수정안을 제안·평가하며, 최종 구성은 시험 전에 고정한다. RoboMME에서 SERA는 자가진화 없을 때 44.38%였던 전체 성공률을 51.38%로 올렸다.

핵심 요약

• SERA는 상위 VLM 플래너를 편집 가능한 하니스로 감싸 관찰과 실행 피드백으로 과제 문맥을 유지하고 갱신했다.
• 실행 기반 자가진화는 환경 롤아웃으로 계획 지침, 판정 기준, 제어 규칙의 수정안을 제안하고 검증기로 평가한 뒤 하니스를 골랐다.
• 자가진화는 상위 VLM에 대한 추가 지도 미세조정 데이터를 만들지 않고 진행됐다.
• RoboMME 벤치마크 16개 과제에서 자율 선택 SERA는 전체 성공률 51.38%를 기록했고, 이는 자가진화 없을 때의 44.38%보다 7.00 포인트 높았다.
• SERA는 Reference 69.50, Permanence 57.00, Counting 49.00, Imitation 30.00 성공률로 Reference와 Permanence에서 가장 높은 점수를 받았다.
• 저자는 VLM 추론이 실행 회로에 계획 지연을 더하며, 긴 과제에서 이 비용이 쌓이는 문제를 한계로 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.