T-Rex: Tactile-Reactive Dexterous Manipulation

촉각 신호에 실시간으로 반응하는 로봇 정교 조작을 위해 T-Rex를 제안한다. Mixture-of-Transformer-Experts 아키텍처와 100시간 촉각 데이터셋으로 기존 최강 baseline 대비 평균 30% 높은 성공률을 달성한다.

T-Rex는 Vision-Language-Action(VLA) 모델의 저주파 시각 처리와 고주파 촉각 처리를 분리하는 variable-rate Mixture-of-Transformers(MoT) 아키텍처를 도입한다. 22,889시간 인간 egocentric video로 사전학습하고 100시간 촉각 동기화 로봇 데이터로 mid-training하는 3단계 레시피를 제안한다. 12개 contact-rich 과제에서 평균 65% 성공률로 EgoScale(35%) 대비 30% 우수하다.

핵심 요약

• Variable-rate MoT 아키텍처: 저주파 action expert(~5Hz) + 고주파 tactile expert(~20Hz)로 제어 분리
• Spatio-temporal VQ-VAE 기반 촉각 인코더로 raw tactile feedback을 compact 표현으로 압축
• 100시간 촉각 동기화 bimanual manipulation 데이터셋(T-Rex Dataset) 공개, 200+ 일상 객체 및 22개 motor primitive
• 12개 tactile-reactive 과제에서 평균 65% 성공률,最强 baseline 대비 30% 향상

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.