K2-Horizon: A Frontier Fleet of Open Source Language Models

발행일
출처
arXiv
논문 번호
1491
분야
LLMs / NLP
arXiv 번호
2611.21003

이 논문은 0.9B부터 375B-A23B까지 여섯 개 완전 개방 언어모델과 학습 전 과정 자산을 공개하고, MoVA 어텐션과 Uno 디코딩 가속기를 소개한 기술 보고서다.

이 논문은 한마디로 여섯 개 크기의 완전 개방 기반모델 함대와 그 전체 학습 이력을 공개한 보고서다. 모델은 수학, 과학, 소프트웨어 공학, 심층 연구 등 범용 추론과 에이전트 작업을 겨냥했다. 저자들은 어텐션 값 투영에 MoE를 적용한 MoVA와 솔플러스 게이팅을 도입했고, 36B-A4B 모델은 같은 데이터로 학습한 32B 밀집 모델과 거의 맞먹었다. Uno 확산 어댑터는 별도 초안 모델 없이 디코딩을 최대 2.2× 가속했다. 전 학습 이력, 약 10T 합성 사전학습 토큰, 22T 토큰 공동 코퍼스 등이 공개됐다.

핵심 요약

  • 연구진은 0.9B 밀집 모델부터 375B-A23B MoE까지 여섯 개의 완전 개방 언어모델을 수학과 과학, 소프트웨어 공학, 심층 연구 같은 범용 추론과 에이전트 작업을 위해 공개했다.
  • 저자들은 어텐션 값 투영에 MoE를 적용한 MoVA와 솔플러스 어텐션 게이팅을 도입했고, 36B-A4B 모델은 같은 데이터로 학습한 32B 밀집 모델과 활성 파라미터 1/7로 거의 맞먹었다.
  • Uno는 별도 초안 모델 없이 디코딩을 최대 2.2× 가속하는 무손실 확산 어댑터다.
  • 공개 자산에는 모든 학습 단계의 중간 체크포인트, 사전학습 데이터, 학습 로그, 학습과 평가와 인프라 코드 전체가 포함됐고, 파이프라인은 약 10T 합성 사전학습 토큰을 만들었다.
  • 네 모델이 22T 토큰짜리 같은 사전학습 코퍼스와 레시피를 공유하며, 7B와 3.7B는 SWE-bench Verified를 큰 차이로 이끌었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.

원문 보기 (새 탭에서 열림)