Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots

인간 동작 데이터에서 로봇 조작 스킬을 전이하기 위해 손목 병진(wrist translation)만을 bridging action으로 사용하는 접근법.

이 논문은 인간의 동작 데이터를 양팔 로봇(parallel gripper)에 전이할 때, 노이즈가 많은 6DoF 인간 동작 대신 손목 병진(wrist translation)만을 shared action space로 사용하는 'bridging action' 접근법을 제안한다. π0-like VLA 모델에 interleaved action token과 attention masking을 적용해 이종 action component를 처리하며, 3단계 훈련(인간 사전학습 → 공동 훈련 → 소량 로봇 데이터 후속학습)으로 지식을 전이한다. 손목 병진만으로 6DoF 인간 동작보다 월등히 우수한 스킬 전이를 달성했다.

핵심 요약

• 인간 손의 회전 정보는 노이즈가 많고 parallel gripper와 contact pattern이 달라 rotation-inclusive 6DoF 학습은 sub-optimal이라고 주장
• 손목 병진(relative wrist translation in head-camera frame)을 bridging action으로 채택, 인간-로봇 간 공유 action space 구축
• Interleaved action token(3D-wrist → 6D-eef → gripper) + attention masking으로 이종 데이터의 missing component 처리
• 3단계 전략: 대규모 인간 데이터 사전학습 → 인간+로봇 공동 훈련 → 소량 실물 로봇 후속학습
• 로봇 데이터에 bridging action을 추가 감독하는 것이 필수적 (overall success 12.5%→38.3%)
• Upper bound 분석: embodiment gap을 제거하면 bridging objective가 더 강력한 전이 성능 달성 (overall progress 59.75%→73.54%)

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.