Risk-Controlled KV-Cache Eviction: From Memory Budgets to Risk Targets

KV 캐시 축출을 평균 품질 최적화가 아니라 위험 통제 문제로 재정의. 어떤 요청도 실질적 품질 저하를 겪지 않게 보장한다.

KV 캐시 축출을 위험 통제(risk control) 문제로 재정의해, 개별 요청이 실질적 품질 저하를 겪지 않도록 보장한다. 평균 지표가 놓치는 최악 사례(worst-case) 성능을 생산 LLM 배포의 핵심 요구로 다룬다.

핵심 요약

• KV 캐시 축출을 위험 통제 문제로 재정의
• 개별 요청의 최악 품질 저하 방지 보장
• 평균 지표가 놓치는 worst-case 성능 대응
• 생산 LLM 배포의 안정성 기반

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.