Data Pyramid for Embodied Manipulation

로봇 조작 학습 데이터를 5단계로 정리한 대규모 서베이, 랩 로봇 데이터 설계 참고서.

임바디드 로봇 조작을 위한 학습 데이터를 다섯 소스의 피라미드로 정리한 서베이다. 실로봇, UMI 방식, 1인칭과 3인칭 영상, 시뮬레이션, 일반 영상언어 데이터를 확장성과 로봇 정합성 기준으로 배열한다. 각 소스를 품질, 다양성, 재사용성, 물리 충실도로 비교하고, 임바디드 브레인, VLA, 월드액션 모델을 데이터 레시피 관점에서 분석한다. 촉각 데이터, 실패 데이터 등 여섯 가지 열린 과제를 제시한다.

핵심 요약

• 임바디드 조작 데이터를 실로봇, UMI 방식, 1·3인칭 영상, 시뮬레이션, 일반 시각·언어 데이터의 다섯 소스로 정리했다.
• 각 소스를 확장성과 로봇 정합성의 긴장 관계 위에 놓고 품질, 다양성, 재사용성, 물리 충실도로 비교했다.
• 임바디드 브레인, VLA, 월드액션 모델이 사전학습에서 여러 데이터 소스를 선택하고 섞는 방식을 분석했다.
• 이 분류는 로봇 연구자가 목표 능력과 수집 비용에 맞춰 데이터 조합을 설계하는 참고 틀로 쓸 수 있다.
• 대규모 촉각 데이터, 실패와 복구 기록, 서로 다른 로봇 간 행동 정렬 등 여섯 과제가 아직 해결되지 않았다는 한계가 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.