T$^2$Mem: Learning Test-Time Memory for Robotics

T²Mem은 로봇이 과거 관찰을 내부 기억에 저장하고 현재 행동에 활용하도록 학습하는 방법이다.

로봇은 물체가 가려진 뒤에도 이전에 본 정보를 기억해야 할 때가 있다. T²Mem은 관찰 이력을 빠르게 갱신하는 내부 가중치에 저장하고 행동 모델에 전달한다. 기억 모듈과 행동 모델을 번갈아 학습하며 별도의 기억 정답이나 외부 추론 모델은 사용하지 않는다. RoboMME의 16개 과제에서 평균 성공률은 기억이 없는 기준 모델의 17.93%에서 56.83%로 높아졌다. 다만 물체 위치가 서로 바뀌는 상황의 시간적 추론과 정밀한 삽입 동작에는 여전히 한계가 있다.

핵심 요약

• T²Mem은 사전 학습된 시각·언어·행동 모델에 내부 기억을 넣어 현재 화면에서 사라진 정보를 행동에 활용한다.
• 관찰 기반 인터페이스가 과거 정보를 빠른 가중치에 저장하며 기억 모듈과 행동 모델을 번갈아 학습한다.
• RoboMME의 16개 과제에서 평균 성공률은 기억이 없는 기준 모델의 17.93%에서 56.83%로 높아졌다.
• 외부 추론 모델 없이 기억을 활용하며 통제된 RTX A5000 측정에서 FrameSamp+Modul보다 전면 실행 계산이 약 3배 빨랐다.
• 물체 위치 교환을 추론하는 과제와 정밀한 삽입 동작에는 한계가 있으며 속도 측정은 통신과 환경 실행 시간을 제외한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.