Dream-Tac: A Unified Tactile World Action Model for Contact-Rich Robot Manipulation

촉각 센서를 월드 액션 모델에 통합한 Dream-Tac. 시각-촉각 융합으로 접촉 집약적 로봇 조작에서 정확도를 31.7% 평균 향상시킨다.

Dream-Tac은 비전에만 의존하는 기존 월드 액션 모델의 한계를 극복하기 위해 촉각을 통합한 최초의 Tactile World Action Model이다. contact-gated visuotactile fusion으로 접촉이 감지될 때만 선택적으로 촉각 신호를 통합하고, contact-aware attention bias로 모달리티 간 상호작용을 조절한다. 이중 수준 가속 전략으로 학습 2.9배, 추론 1.8배 가속을 달성하며, 6개 접촉 집약 조작 태스크에서 평균 31.7% 정확도 향상을 보여준다.

핵심 요약

• 비전+촉각을 통합 예측하는 최초의 unified Tactile World Action Model
• contact-gated fusion: 촉각 변화가 큰 순간에만 촉각 신호를 강조하는 게이트 메커니즘
• contact-aware attention bias로 비전-촉각-행동 간 크로스모달 상호작용 조절
• FlashAttention 기반 게이트 최적화로 학습 2.94배 가속, diffusion-step caching으로 추론 1.8배 가속
• 6개 접촉 집약 태스크에서 평균 31.7% 정확도 향상, Cosmos Policy 대비 31.6% 우위
• OOD 일반화(테이블 높이, 공간, 객체, 배경 변화)에서도 강건한 성능

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.