Seeing, Maintaining, and Learning: The Evolution of Multimodal Agent Memory

이 논문은 멀티모달 에이전트 메모리 연구 297 편을 두 축으로 정리해 지형과 빈틈을 보여주는 서베이다.

이 논문은 한마디로 멀티모달 에이전트의 메모리를 형성·표현 축과 관리 축으로 나누어 정리한 대규모 서베이다. 표현 축에서는 원본 증거 보존, 텍스트·구조 명시 표현, 잠재·파라미터 내면화로 나누고, 관리 축에서는 고정 메모리(T1), 안정 정책으로 갱신하는 동적 메모리(T2), 정책 자체가 진화하는 자기진화 메모리(T3)로 나눈다. 297 개 아키텍처와 82 개 벤치마크를 분석한 결과 동적 메모리가 68.7% 로 가장 많고 하이브리드 표현이 46.8% 를 차지했으며, 배포 중 정책 진화는 5.7% 에 불과했다.

핵심 요약

• 메모리를 두 축으로 정리했다. 축 I 은 경험을 어떤 표현으로 남기는지, 축 II 는 메모리 상태와 관리 정책이 운영 중에 어떻게 바뀌는지를 다룬다.
• 관리 축을 세 층으로 나눴다. T1 은 고정 메모리 재사용, T2 는 안정 정책으로 메모리 갱신, T3 은 피드백으로 관리 정책 자체를 진화시킨다.
• 297 개 아키텍처 분석 결과 T2 동적 메모리가 204 개(68.7%)로 가장 많았고 T3 자기진화 메모리는 17 개(5.7%)에 불과했다.
• 하이브리드 표현이 139 개(46.8%)로 가장 큰 범주였고, 명시적 기록과 원본 증거를 함께 두는 설계가 널리 쓰였다.
• T3 자기진화 메모리 17 개 중 13 개가 명시적 표현 기반이었고, 잠재·파라미터만 쓰는 시스템은 정책 진화 사례가 없었다.
• 82 개 벤치마크 분석에서 교차모달 증거와 장거리 증거는 잘 평가되지만, 충돌 기억 처리와 기억이 없을 때 답 거부는 7 개와 10 개만 직접 평가했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.