Ling and Ring 2.6 Technical Report: Efficient and Instant Agentic Intelligence at Trillion-Parameter Scale

Inclusion AI가 Ling-2.6(즉시 응답용)과 Ring-2.6(심층 추론용) 1조 파라미터 MoE 모델 패밀리를 발표했다. 하이브리드 선형 attention과 agentic RL 훈련으로 효율성과 성능을 동시에 확보했다.

Ling-2.0 베이스를 Lightning Attention + MLA 7:1 하이브리드로 아키텍처 마이그레이션 후 9.6T 토큰 추가 사전학습하고, Evo-CoT·LPO·최단 정답 증류로 토큰 효율을 4배 향상시켰다. KPop이라는 비동기 agentic RL 프레임워크로 도구 사용·코딩·검색 환경에서 대규모 학습을 수행하여, Ling-2.6-1T는 Artificial Analysis 지수 34점(GPT-5.4 수준), Ring-2.6-1T는 PinchBench 87.60, ClawEval 63.82를 달성했다. 모든 체크포인트를 오픈소스로 공개했다.

핵심 요약

• Lightning Attention + MLA를 7:1 비율로 혼합하여 장문맥 FLOPs 및 KV-cache 부담 대폭 감소
• Evo-CoT, LPO, 최단 정답 증류로 2.0 세대 대비 약 4배 토큰 효율 향상
• KPop 비동기 agentic RL로 1T 규모에서도 안정적인 환경 기반 학습 달성
• Ring-2.6-1T가 PinchBench 87.60, ClawEval 63.82, GAIA-2 Search 및 τ2-Bench Telecom에서 강력한 성능 기록

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.