Kimi K3: Open Frontier Intelligence
- 발행일
- 출처
- arXiv
- 논문 번호
- 727
- 분야
- LLMs / NLP
- arXiv 번호
- 2607.24653
공개 가중치로 나온 프런티어급 에이전트와 추론 모델, 자율랩 두뇌 후보.
Kimi K3는 Kimi Team이 공개한 프런티어급 오픈웨이트 모델이다. 총 2.8조 파라미터 MoE에 활성 파라미터는 104억이고 문맥은 100만 토큰이다. 일반, 에이전트, 코딩 강화학습으로 장기 작업과 도구 사용을 잘한다. 상용 최상위 두 모델에만 뒤지고 나머지 공개 모델과 상용 모델은 모두 앞선다.
핵심 요약
- Kimi K3는 총 2.8조 파라미터 가운데 1,040억 개를 활성화하는 전문가 혼합 모델로 시각 입력과 100만 토큰 문맥을 지원한다.
- Kimi Delta Attention, Attention Residuals, Stable LatentMoE를 결합해 토큰마다 896개 전문가 중 16개를 사용한다.
- 일반 추론, 에이전트, 코딩 분야와 여러 추론 노력 수준을 강화학습해 장기 작업과 조합적 일반화를 강화했다.
- Kimi K2보다 전체 확장 효율이 약 2.5배 높고 전체 가중치를 공개해 프런티어급 모델 연구와 배포에 활용할 수 있다.
- 평가 묶음에서는 다른 공개·상용 모델보다 강했지만 Claude Fable 5와 GPT-5.6 Sol 같은 최상위 비공개 모델에는 여전히 뒤졌다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.