AgenticRoboRL: Bringing Coding-Agent Post-Training to Agentic Robotics

코딩 에이전트에 쓰이는 사후 훈련 기법을 로봇 플래너에 옮겨와 작은 모델의 조작 성공률을 크게 올린 문제를 풀었다.

이 논문은 한마디로 로봇 에이전트 시스템의 플래너 자체를 사후 훈련해 조작 성공률을 크게 올린 AgenticRoboRL 프레임워크다. 감독 미세조정(SFT)으로 성공 궤적을 학습한 뒤 다중 턴 강화학습(RL)을 더하고, 하네스별 어댑터가 서로 다른 실행 방식을 하나의 훈련 파이프라인으로 묶는다. LIBERO-PRO에서 9B 플래너의 성공률을 18.1%에서 71.0%로 올려 외부 메모리를 쓰는 Codex (GPT-5.5)의 72.1%에 근접했다. 실행 부품은 고정하고 플래너만 훈련하는 점이 특징이다.

핵심 요약

• 감독 미세조정과 다중 턴 강화학습을 결합해 로봇 플래너만 훈련하고 VLA 실행 부품은 고정했다.
• 하네스별 어댑터가 기록된 플래너 호출을 에피소드 결과와 연결해 VLA 스킬 호출과 제어 코드 생성 두 실행 방식을 하나의 훈련 파이프라인으로 지원했다.
• LIBERO-PRO에서 SFT가 9B 플래너의 성공률을 18.1%에서 65.1%로 올리고 RL이 71.0%까지 추가로 끌어올렸다.
• 훈련에 쓰지 않은 LIBERO-Plus 10,030개 평가에서 같은 체크포인트가 원래 19.2%에서 72.2%로 올랐다.
• CaP-X 하네스에서는 성공률을 2.7%에서 28.5%로 올려 27B 교사 모델의 20.3%를 넘었다.
• RL 보상은 과제 성공 여부 하나만 썼고 중간 보상이나 길이 벌점은 넣지 않았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.