AutoMem: Automated Learning of Memory as a Cognitive Skill

메모리 관리를 독립적으로 학습 가능한 인지 스킬로 취급하고 자동화하는 AUTOMEM 프레임워크. 32B 오픈모델을 Claude Opus 4.5 수준으로 끌어올렸다.

AUTOMEM은 메모리 관리를 학습 가능한 독립 스킬로 정식화하고, 파일 시스템 조작을 태스크 액션과 동등한 1급 메모리 액션으로 승격한다. 두 개의 자동화 루프—scaffold 최적화(메타-LLM이 전체 궤적을 리뷰하여 프롬프트/스키마/코드 개선)와 memory proficiency 훈련(좋은 메모리 결정을 학습 신호로 활용)—를 통해 Qwen2.5-32B 기반 에이전트의 장기 태스크 성능을 2-4배 향상시켰다. Crafter, MiniHack, NetHack 세 환경에서 32B 모델이 Qwen2.5-72B를 크게 능가했으며, Claude Opus 4.5 및 Gemini 3.1 Pro Thinking과 경쟁하는 수준에 도달했다.

핵심 요약

• 파일 시스템(read/write/search/append/create)을 태스크 액션과 동등한 1급 메모리 액션으로 승격 — 모든 메모리 결정이 추적 가능한 액션
• Outer-loop 1: 메타-LLM이 최대 10만 스텝 궤적을 리뷰하여 agent scaffold(코드/프롬프트/메모리 스키마)를 자동 개선
• Outer-loop 2: 에이전트의 좋은 메모리 결정을 추출하여 전용 memory specialist 모델을 LoRA 파인튜닝 (task model은 동결)
• 메모리 최적화만으로 태스크 모델 가중치 수정 없이 2-4배 성능 향상 — 메모리가 모델 스케일보다 더 높은 레버리지
• 32B 최적화 에이전트가 72B를 능가하며 Claude Opus 4.5, Gemini 3.1 Pro Thinking 급에 도달
• 인지과학의 메타메모리(metamemory) 개념을 LLM 에이전트의 구체적 최적화 타겟으로 전환한 최초의 사례

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.