Active Context Compression: Autonomous Memory Management in LLM Agents

한 독립 연구자는 LLM 에이전트가 장기 과제 동안 내부 컨텍스트를 자율적으로 관리하고 압축하는 아키텍처 'Focus'를 개발했다.

한 독립 연구자는 LLM 에이전트가 장기 과제 동안 내부 컨텍스트를 자율적으로 관리하고 압축하는 아키텍처 'Focus'를 개발했다. 이 방법은 도전적인 소프트웨어 공학 벤치마크에서 과제 성공률을 유지하면서 총 토큰 소비량을 22.7% 줄인다.

핵심 요약

LLM 에이전트는 장기 과제에서 끊임없이 증가하는 대화 기록으로 인해 '컨텍스트 비대화(Context Bloat)'를 겪으며, 이는 계산 비용 증가와 지연 시간 상승으로 이어진다.
확장된 컨텍스트 윈도우는 관련 정보가 묻히는 '컨텍스트 오염(Context Poisoning)'이나 '중간 부분 망각(Lost in the Middle)' 현상을 통해 추론 능력을 저하시킨다.
외부 메모리 시스템이나 반성 메커니즘 같은 기존 솔루션은 지속적인 과제 수행 중에 능동적인 궤적 내 컨텍스트 관리를 제공하지 못하는 경우가 많다.
'Focus' 아키텍처는 '집중 시작'과 '집중 완료'라는 두 프리미티브를 도입해 ReAct 에이전트 루프를 확장하며, 에이전트가 압축 단계를 자율적으로 시작하고 종료할 수 있게 한다.
에이전트는 '집중 완료' 단계에서 활동과 학습 내용의 상위 수준 요약을 생성해 지속적인 'Knowledge' 블록에 추가하고, 원시 상호작용 기록은 삭제하여 동적인 '톱니(Sawtooth)' 컨텍스트 패턴을 만든다.
이 접근법은 점균류 같은 생물학적 탐색 전략에서 영감을 받았으며, 완벽한 원시 기록을 보존하기보다 추상적 학습 내용의 종합을 강조한다.

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.