DexAgent: An Agentic Human2Sim2Robot Framework for Dexterous Manipulation with Self-Evolving Tool Library

사람 영상 하나를 로봇 학습 데이터로 바꾸는 Human2Sim2Robot 파이프라인을, 도구 라이브러리를 스스로 늘리는 에이전트로 만들어 성공률을 3.5배 끌어올린 논문이다.

이 논문은 한마디로 사람 동영상 한 편으로 정밀 로봇손 조작 정책을 train하는 전 과정을 에이전트화했다. 기존 Human2Sim2Robot 파이프라인은 정해진 절차라서 관절 물체·연성 물체 같은 다양한 상황에 못 썼다. DexAgent는 영상 이해 → 시뮬레이션 재구성 → 로봇 궤적 최적화 → 데이터 생성 4단계마다 도구 라이브러리에서 맞는 스킬을 고르거나 새로 만들고, 검증기(verifier)가 통과해야 다음 단계로 넘어간다. 새로 만든 스킬·검증기는 라이브러리에 쌓여 자기진화하며, 11개 실제 과제에서 경쟁 기법 대비 3.5배 높은 성공률을 냈다.

핵심 요약

• 사람 1인칭 영상 하나와 과제 문장만으로 물리적으로 타당한 로봇 궤적 데이터를 만들어냈다.
• 4단계 파이프라인 각 단계에서 도구를 고르거나 새로 개발하고, 속성별 검증기를 통과해야 진행해 오류 누적을 막았다.
• 새 스킬과 검증기를 라이브러리에 저장하는 자기진화 구조로 영상이 쌓일수록 처리 시간이 줄었다.
• 단단한 물체·관절 물체·연성 물체를 아우른 11개 실제 과제에서 경쟁 기준 대비 3.5배 높은 성공률을 달성했다.
• 시뮬레이션에서 물체·로봇 상태를 변형하고 렌더링을 다시 입혀 실제 이식(sim-to-real)을 도왔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.