MemTrace: Tracing and Attributing Errors in Large Language Model Memory Systems

저장 대학교와 알리바바 그룹의 연구진은 실행 흐름을 구조화된 메모리 진화 그래프로 변환함으로써 복잡한 대규모 언어 모델 메모리 시스템 내의 오류를 추적하고 귀속시키는 프레임워크인 MemTrace를 제시한다.

MemTrace는 장기 작업용 언어 모델 메모리 시스템에서 오류가 어느 연산에서 시작됐는지 추적하는 프레임워크다. 메모리 갱신·읽기·답변 생성 과정의 변수와 의존 관계를 기록해 실행 가능한 메모리 진화 그래프로 바꾼다. Long-Context, RAG, Mem0, EverMemOS 등 대표 시스템에서 수집한 MemTraceBench를 만들고, 실패 사례의 연산 하위 그래프를 거슬러 올라가 정보 손실과 검색 불일치 같은 원인을 자동으로 찾는다. 이렇게 얻은 귀속 신호로 프롬프트를 자동 최적화하는 폐루프를 구성했을 때 최종 과제 성능이 최대 7.62% 향상됐다. 다만 추적 품질은 개발자가 어떤 변수와 연산을 어느 세밀도로 계측했는지에 의존하므로, 기록되지 않은 계산까지 자동으로 완전하게 포착하는 도구는 아니다.

핵심 요약

• 갱신 오류: 기존 메모리 상태를 잘못 수정하거나 덮어쓰는 경우다.
• 삭제 오류: 유용한 정보를 부적절하게 제거하는 경우다.
• 검색 오류: 주어진 질의에 대해 관련 메모리 단위를 찾지 못하는 경우다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.