Solar Open 2 Technical Report

한국 주권 AI 모델로 250B-A15B MoE 구조에 100만 토큰 컨텍스트를 지원하며, 한국어 벤치마크에서 최고 성능을 기록한 기술 보고서다.

이 논문은 한마디로 한국 주권 AI 모델 Solar Open 2의 기술 보고서로, 250B 매개변수에 100만 토큰 컨텍스트를 지원하는 것이다. 하이브리드 어텐션(선형 3:소프트맥스 1)과 NoPE, 음수 고윳값 확장으로 메모리를 1/4로 줄이면서도 100만 토큰을 처리한다. 한국어 벤치마크에서 동급 오픈 모델은 물론 상용 API까지 제치고 1위를 차지했고, 12개 전문가를 MOPD로 통합했다.

핵심 요약

• 250B-A15B MoE 구조로 Solar Open 1(102B)에서 스케일업하면서 2.3% 매개변수만 선택적 전달했다.
• 하이브리드 어텐션(선형 75% + 소프트맥스 25%) + NoPE로 1M 토큰 컨텍스트를 지원한다.
• 한국어 토크나이저 효율이 글로벌 모델 대비 24% 높다 (같은 한국어를 더 적은 토큰으로 표현).
• 한국어 벤치마크 평균에서 동급 오픈모델 및 상용 API 중 1위, Ko-GDPval에서 DeepSeek-V4-Pro(1.6T)와 거의 동등.
• 12개 도메인 전문가를 다교사 온정책 증류(MOPD)로 하나의 모델에 통합했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.