Context Language Models

Context Language Models는 언어 모델이 자신의 문맥을 파일처럼 직접 편집해 긴 작업의 정보와 계산 비용을 관리하는 방법이다.

긴 작업에서는 필요한 정보를 남기고 불필요한 기록을 줄이는 문맥 관리가 중요하다. 이 연구는 모델의 현재 문맥을 편집 가능한 파일로 제공하고 변경 내용을 다음 호출에 반영한다. Qwen3.6-27B의 BrowseComp-Plus 평가에서 가장 강한 비교 방식보다 정확도가 상대적으로 11.4% 높고 계산량은 21.5% 적었다. 강화학습과 편집 후 남은 캐시 재사용을 통해 문맥 관리와 실행 효율을 추가로 개선했다. 다만 편집 가능한 문맥에 악성 지시나 모델이 만든 부적절한 지시가 남을 수 있어 무결성 보호가 필요하다.

핵심 요약

• Context Language Models는 현재 문맥을 파일로 제공해 모델이 일반 코드 도구로 내용을 직접 편집하도록 한다.
• 편집 결과는 다음 모델 호출에 반영되며 여러 문맥 파일을 함께 관리하는 다중 에이전트 구조로 확장할 수 있다.
• Qwen3.6-27B의 BrowseComp-Plus 평가에서 최상위 비교 방식보다 정확도가 상대적으로 11.4% 높고 접두부 캐시 재사용을 반영한 계산량은 21.5% 적었다.
• 자연어 지침과 강화학습으로 문맥 관리 전략을 개선할 수 있으며 별도의 접미부 캐시 재사용 기법은 해당 평가에서 표준 SGLang보다 계산량을 35% 줄였다.
• 편집 가능한 문맥은 악성 지시가 지속되는 새 경로가 될 수 있으므로 유연한 관리와 함께 문맥 무결성 보호가 필요하다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.