Cache Engineering for Agents

이 논문은 에이전트가 KV 캐시를 직접 제어해 긴 대화 비용과 성능을 함께 잡는 캐시 엔지니어링과 AKV 서빙 엔진을 제안한 연구다.

이 논문은 한마디로 긴 에이전트 궤적에서 지배적인 KV 캐시 비용을 텍스트 요약 대신 캐시 직접 조작으로 줄이는 방법을 제안한 연구다. 저자들은 drop으로 선택한 캐시를 어텐션에서 빼고 repos로 남은 키의 위치 인코딩을 조정하는 캐시 연산을 정의했다. 같은 토큰 열도 캐시 연산 이력에 따라 다른 상태가 되므로, 이를 다루는 AKV 서빙 엔진을 함께 만들었다. 실험에서 도구 응답 rolling-drop 정책은 요약 방식보다 평균 점수를 올리고 비용을 크게 낮췄다.

핵심 요약

• 저자들은 긴 궤적에서 KV 캐시 읽기가 전체 API 비용의 82.4%를 차지한다고 측정했다.
• 캐시 엔지니어링은 drop으로 선택한 캐시를 이후 어텐션에서 빼고, repos로 남은 키의 위치 인코딩을 조정한다.
• 기본 정책은 가장 최근 12개 도구 응답의 KV 상태만 남기는 도구 응답 rolling-drop이다.
• 이 정책은 임계값 요약과 비교해 평균 점수를 1.7점 올리고 평균 비용을 27.7% 줄였다.
• AKV 서버와 함께 쓰면 출력 처리량은 최대 1.2×, P95 요청 지연은 1.5× 빨라졌다.
• 재귀적 자기개선으로 캐시 정책을 다듬으면 전문가 설계보다 비용이 다시 7.1% 줄었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.