Memory as Belief: Bayesian Evolution of Memory for Self-Evolving LLM Agents

이 논문은 외부 기억의 가치를 상황에 따른 확률 믿음으로 평가하는 문제를 베이즈 갱신과 반사실적 증거로 풀어 자기진화 에이전트의 기억 활용을 개선했다.

이 논문은 한마디로 에이전트 기억의 쓸모를 과거 성공률 대신 상황 조건부 베타 믿음으로 모델링하고 실행 피드백으로 계속 보정하는 BEAM 프레임워크를 제안한다. 기억 가치 추정기는 얕은 LoRA 추정기로 백본을 고정한 채 베타 분포 믿음을 예측하고, 하나씩 빼는 반사실 평가로 기억별 기여를 계산해 믿음을 갱신한다. 추론과 코드 생성 벤치마크에서 두 실행 모델 모두 가장 강한 기준보다 평균 3.93점과 2.43점 앞섰다. 과업 흐름이 진행될수록 기억 없는 기준 대비 이득이 커져 지속적 자기진화를 확인했다.

핵심 요약

• BEAM은 기억 가치를 상황에 따른 베타 분포 믿음 Beta(α, β)로 표현하고 얕은 LoRA 추정기로 백본을 고정한 채 그 믿음을 예측했다.
• 실행 피드백을 증거로 삼아 하나씩 빼는 반사실 평가로 기억별 한계 기여를 계산하고 증거 목표, 쌍 순위 손실, 선택적 베타-KL 규제로 기억 가치 추정기를 온라인 학습했다.
• Thompson 표집으로 믿음에서 효용 점수를 뽑아 증거가 적은 기억에 탐색 기회를 주었다.
• BEAM은 두 실행 모델 모두에서 가장 강한 기준보다 평균 3.93점과 2.43점 앞서는 최고 성적을 냈다.
• 과업 흐름을 단계로 나눠 보면 BEAM은 후반 단계에서 기억 없는 기준 대비 이득이 더 커져 지속적 자기진화를 보였다.
• MATH-500에서 학습한 가치 모델을 AIME으로 옮기면 처음 단계에서 큰 이득을 보였고 흐름 전체 평균 성능도 가장 좋았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.