Metis: Memory Foundation Model

메모리를 외부 모듈이 아닌 모델 내부에 내재화한 최초의 메모리 파운데이션 모델. 순방향 계산만으로 기억을 저장·활용한다.

이 논문은 한마디로 AI 모델의 가중치 자체에 메모리 기능을 넣어서, 외부 데이터베이스 없이도 과거 정보를 저장하고 활용할 수 있게 만들었다는 이야기다. 기존 RAG 방식은 외부 검색-주입 구조로 병목이 있었는데, Metis는 모델 내부에 '네이티브 메모리 상태'를 만들어 순방향 계산만으로 기억을 갱신한다. 대규모 메모리 특화 훈련 데이터로 미드트레이닝하여, 128K 컨텍스트에서도 일정한 크기의 메모리 상태를 유지하며 Full Context 대비 최대 2.67배 빠르다.

핵심 요약

• 외부 RAG에 의존하지 않고 모델 가중치 내에 '네이티브 메모리 상태'를 구현한 최초의 프로토타입이다.
• 메모리 저장/망각/갱신이 모델 순방향 계산만으로 자동 수행된다. 그래디언트 프리 업데이트가 가능하다.
• Fast Weight Programming에서 영감을 받은 하이퍼 메모리 블록과 로컬 메모리 블록 구조를 도입했다.
• 128K 컨텍스트에서 Full Context 대비 2.4~2.67배 빠르고, 세션당 저장공간은 67배 작다(16.79MB vs 1118MB).
• 한계: 장기 작업에서 정보 압축 손실이 있고, 일부 경우 의미 혼동이 발생한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.