Can Agents Forget When Asked? A Benchmark for Memory Unlearning in LLM Agents

이 논문은 사용자가 삭제를 요청한 기억만 골라 지우고 나머지는 보존하는 능력을 처음 측정하는 메모리 언러닝 벤치마크 Bemula를 제안했다.

이 논문은 한마디로 LLM 에이전트의 장기 기억에서 사용자가 요청한 사실만 골라 지우는 언러닝 능력을 평가하는 최초의 벤치마크 Bemula를 소개한다. 기존 벤치마크가 기억 쓰기·검색·정리만 평가하는 반면 이 연구는 잊기 요청을 정확히 수행하는지와 요청 밖의 기억을 보존하는지를 함께 잰다. 평가한 모든 시스템과 백본에서 종단 간 잊기 요청 통과율이 1.5%를 넘지 못했고 대부분 하나도 통과하지 못했다. LLM 심판에 대한 사람 검증 100개 표본에서는 98% 일치로 평가 신뢰성을 뒷받침했다.

핵심 요약

• Bemula는 LLM 에이전트 장기 기억의 언러닝, 곧 사용자가 요청한 기억만 지우는 능력을 전용 평가하는 최초의 벤치마크다.
• 요청된 사실의 삭제와 요청되지 않은 기억의 보존을 동시에 재는 과제 구성을 갖추었다.
• 평가한 모든 시스템·백본에서 종단 간 잊기 요청 통과율이 1.5%를 넘지 못했고 대부분 통과가 없었다.
• LLM 심판에 대한 100개 표본 사람 검증에서 98% 일치를 확인해 평가 신뢰성을 지지했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.