Titans: Learning to Memorize at Test Time

Titans는 테스트 시점에 정보를 기억하도록 학습하는 새로운 신경 메모리 모듈을 도입하며, 더 나은 장기 시퀀스 모델링을 위해 어텐션 메커니즘과 효과적으로 결합한다.

Titans는 테스트 시점에 정보를 기억하도록 학습하는 새로운 신경 메모리 모듈을 도입하며, 더 나은 장기 시퀀스 모델링을 위해 어텐션 메커니즘과 효과적으로 결합한다.

핵심 요약

• 기존 모델은 매우 긴 시퀀스를 효과적으로 처리하고 기억하는 데 어려움을 겪는다.
• 트랜스포머는 이차 복잡도를 가져 맥락 창이 제한된다.
• 현재의 접근은 서로 다른 메모리 유형(단기·장기·영속)을 결합하는 효과적인 방법이 부족하다.
• 모델은 일반화와 길이 외삽에서 어려움에 직면한다.
• 놀라움 지표에 기반하여 테스트 시점에 기억하도록 학습하는 신경 장기 메모리 모듈을 도입한다.
• 메모리를 효과적으로 통합하기 위한 세 가지 구조 변형(Memory as Context, Memory as Gate, Memory as Layer)을 제시한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.