Self-Compacting Language Model Agents

에이전트가 스스로 언제 맥락을 압축할지 결정하도록 루브릭 기반 압축 도구를 제공하는 SelfCompact를 제안하여, 고정 간격 압축 대비 30-70% 낮은 비용으로 동등 이상의 성능을 달성한다.

긴 에이전트 궤적에서 과거 맥락이 누적되어 발생하는 context rot 문제를 해결하기 위해 SelfCompact를 제안한다. 모델이 직접 호출하는 압축 도구와, 언제 압축할지(하위 과제 해결 시) / 언제 하지 않을지(추론 도중)를 지정하는 가벼운 루브릭을 결합한다. 7개 모델과 6개 벤치마크(수학 및 에이전트 검색)에서 평가한 결과, 루브릭 없이 도구만 제공하면 불규칙하게 사용하지만 루브릭을 함께 제공하면 적응적 압축이 가능했다. 수학에서 최대 18.1점, 에이전트 검색에서 5-9점 향상을 고정 간격 대비 30-70% 낮은 비용으로 달성했다.

핵심 요약

• 고정 토큰 임계값 기반 압축은 추론 도중이나 검색 중간에 발동하여 검증된 사실을 삭제하는 문제가 있음
• 모델이 직접 호출하는 압축 도구 + 경량 루브릭(하위 과제 해결 시 압축, 추론 중 억제)을 결합
• 루브릭 없이 도구만 제공하면 모델 간 사용 편차가 크고 부적절한 시점에 호출 — 루브릭이 핵심임을 입증
• 수학 벤치마크(IMO-Answerbench, HMMT)에서 무압축 대비 최대 18.1점 향상
• 에이전트 검색(BrowseComp 등)에서 5-9점 향상, 질문당 30-70% 낮은 토큰 비용
• 모든 파인튜닝이나 외부 감독 없이 inference-time 스캐폴드만으로 적응적 압축 가능

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.