K2-Horizon: A Frontier Fleet of Open Source Language Models
- 발행일
- 출처
- arXiv
- 논문 번호
- 1491
- 분야
- LLMs / NLP
- arXiv 번호
- 2611.21003
이 논문은 0.9B부터 375B-A23B까지 여섯 개 완전 개방 언어모델과 학습 전 과정 자산을 공개하고, MoVA 어텐션과 Uno 디코딩 가속기를 소개한 기술 보고서다.
이 논문은 한마디로 여섯 개 크기의 완전 개방 기반모델 함대와 그 전체 학습 이력을 공개한 보고서다. 모델은 수학, 과학, 소프트웨어 공학, 심층 연구 등 범용 추론과 에이전트 작업을 겨냥했다. 저자들은 어텐션 값 투영에 MoE를 적용한 MoVA와 솔플러스 게이팅을 도입했고, 36B-A4B 모델은 같은 데이터로 학습한 32B 밀집 모델과 거의 맞먹었다. Uno 확산 어댑터는 별도 초안 모델 없이 디코딩을 최대 2.2× 가속했다. 전 학습 이력, 약 10T 합성 사전학습 토큰, 22T 토큰 공동 코퍼스 등이 공개됐다.
핵심 요약
- 연구진은 0.9B 밀집 모델부터 375B-A23B MoE까지 여섯 개의 완전 개방 언어모델을 수학과 과학, 소프트웨어 공학, 심층 연구 같은 범용 추론과 에이전트 작업을 위해 공개했다.
- 저자들은 어텐션 값 투영에 MoE를 적용한 MoVA와 솔플러스 어텐션 게이팅을 도입했고, 36B-A4B 모델은 같은 데이터로 학습한 32B 밀집 모델과 활성 파라미터 1/7로 거의 맞먹었다.
- Uno는 별도 초안 모델 없이 디코딩을 최대 2.2× 가속하는 무손실 확산 어댑터다.
- 공개 자산에는 모든 학습 단계의 중간 체크포인트, 사전학습 데이터, 학습 로그, 학습과 평가와 인프라 코드 전체가 포함됐고, 파이프라인은 약 10T 합성 사전학습 토큰을 만들었다.
- 네 모델이 22T 토큰짜리 같은 사전학습 코퍼스와 레시피를 공유하며, 7B와 3.7B는 SWE-bench Verified를 큰 차이로 이끌었다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.