Are We Ready For An Agent-Native Memory System?

에이전트 메모리 시스템을 데이터 관리 관점에서 체계적으로 분해하고 12개 시스템을 5개 워크로드에서 평가한 연구. 단일 아키텍처가 모든 시나리오를 장악하지 못하며, 워크로드 특성에 맞는 메모리 구조 선택이 핵심이라는 것을 보여준다.

LLM 에이전트의 메모리 시스템을 표현/저장, 추출, 검색/라우팅, 유지보수 4개 핵심 모듈로 분해하고 12개 대표 시스템을 11개 데이터셋에서 평가했다. 대화형 QA에서는 복합 하이브리드 시스템이, 단일 홉 사실 질의에서는 그래프 기반이 강세를 보였으나 모든 영역을 독점하는 단일 아키텍처는 없었다. 지역적 메모리 유지보수가 전역 재조직보다 비용 효율적이며, 보수적 통합(conservative merge)이 최적의 유지보수 전략으로 확인되었다.

핵심 요약

• 에이전트 메모리를 4개 모듈(표현/저장, 추출, 검색/라우팅, 유지보수)로 체계적으로 분해하는 분석 프레임워크를 제안했다.
• 12개 메모리 시스템 + 2개 베이스라인을 5개 워크로드(11개 데이터셋)에서 통일된 테스트베드로 평가했다.
• 단일 아키텍처가 만능이 아니다. 복합 하이브리드는 대화형 QA에, 그래프 기반은 사실 회상에 강하나 시간 추론에는 취약하다.
• 메모리 추출은 write-time에 context를 보존하는 것이 핵심이다. 가Happy한 추출보다 넓은 보존이 downstream reasoning에 유리하다.
• 보수적 통합(conservative merge)이 delayed flush나 과도한 요약보다 장기 안정성에서 우위를 보인다.
• 고구조화 시스템은 인덱스 구축 시간과 쿼리 지연에서 수십~수백 배의 비용을 치르나 비례하는 정확도 향상은 없다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.