Nemotron 3.5 Super and Lightning: Open, Efficient Mixture-of-Experts Hybrid Mamba-Transformer Models for Agentic AI

이 논문은 NVIDIA가 에이전트 작업용 효율 하이브리드 Mamba-Transformer 모델 두 종을 공개하고 학습부터 양자화, 추론까지 전 과정을 최적화한 기술 보고서다.

이 논문은 한마디로 에이전트 작업을 겨냥한 MoE 하이브리드 Mamba-Transformer 모델 Nemotron 3.5 Super와 Lightning의 학습, 학습후 처리, 양자화, 추론 최적화를 담은 보고서다. Super는 120B 파라미터에 12B 활성의 멀티모달 모델이고 Lightning은 30B에 3B 활성의 텍스트 모델이다. Super는 SWE-bench Pro에서 51.78%로 활성 파라미터가 약 4.6배 적음에도 Nemotron 3 Ultra를 넘었다.

핵심 요약

• NVIDIA는 MoE 하이브리드 Mamba-Transformer 구조의 Nemotron 3.5 Super(120B 파라미터, 12B 활성, 멀티모달)와 Lightning(30B, 3B 활성, 텍스트)를 공개했다.
• 두 모델은 MTP 워밍업 100B 토큰, 상위 모델에서 1조 토큰 증류, 긴 문맥 학습을 거쳤고 Super는 인도어 지속 사전학습과 에이전트 소프트웨어 엔지니어링 미드트레이닝을 추가로 받았다.
• 에이전트 미드트레이닝으로 동일 SFT 조건에서 DeepSWE pass@1이 6.4%에서 10.4%로, SWE-bench Verified(Codex 하니스)가 48.4%에서 61.8%로 올라갔다.
• 학습후 Super 모델은 SWE-bench Pro에서 51.78%를 기록해 활성 파라미터를 약 4.6배 덜 쓰고도 Nemotron 3 Ultra를 넘었고, 병렬 에이전트 실행과 자기검증으로 Terminal-Bench 2.1을 62.7%에서 71.9%로 끌어올렸다.
• NVFP4 양자화는 36개 벤치마크에서 BF16 대비 중앙 정확도 회복률 99.62%를 달성했고, MTP 부스팅은 확률적 드래프트 샘플링에서 수용 길이를 최대 21.8% 늘렸다.
• GB200 한 장에서 초당 최대 4,856 출력 토큰을 내며 사용자당 최소 50 토큰/초를 유지했고, 인터랙티브 에이전트 워크로드에서 NVFP4는 BF16 대비 2.43배의 처리량을 냈다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.