Proactive Memory for Event-Driven LLM Agents

이 논문은 LLM 에이전트가 언제 도움을 제안할지 판단하기 위해 최근 사건, 검증된 시간 궤적, 재현 검증된 행동 규칙성의 세 층 메모리를 쓰는 ProactMem을 제안했다.

이 논문은 한마디로 사건 흐름 속에서 스스로 도움 기회를 찾는 에이전트를 위한 계층적 장기 기억 구조를 제안한 연구다. ProactMem은 최근 사건, 출처가 검증된 시간 궤적, 과거 재생으로 검증된 행동 규칙성의 세 층으로 역사를 정리한다. 저자들은 세 분야의 세로형 사건 흐름 벤치마크 ProactiveStream도 함께 만들었다. 실험에서 ProactMem은 다섯 외부 기준선보다 높은 효과성을 보였고, 메모리 검증 단계를 빼면 성능이 떨어졌다.

핵심 요약

• ProactMem은 최근 사건, 시간 궤적, 행동 규칙성의 세 겹으로 메모리를 나눠 저장했다.
• LLM이 하루 사건에서 궤적을 뽑으면 출처 사건과 대조해 사실을 검증하고, 규칙성은 과거 재생으로 신뢰도를 계산했다.
• 저자들은 Sports, Home, Code 세 분야의 세로형 사건 흐름 벤치마크 ProactiveStream을 만들었고, 이 벤치마크는 17개 고립 스트림과 4,539개 사건, 729개 기준 개입을 담고 있다.
• ProactMem은 전체 효과성(F1) 52.6%를 기록해 다섯 외부 기준선 가운데 가장 강한 것보다 상대적으로 21.4% 높았다.
• 소거 실험에서 궤적 메모리를 더하면 세 분야 모두 효과성이 올랐고, 재현 검증이나 궤적 검증을 빼면 관련성과 효과성이 모두 떨어졌다.
• 한계로 저자들은 평가가 낮은 위험 서비스 설정과 미리 고정된 주석 규약 안에서 이루어졌고, 수혜자 이득과 배포 안전성은 앞으로 측정해야 한다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.