Why Muon Outperforms Adam: A Curvature Perspective

곡률 관점에서 Muon이 Adam보다 어떻게 더 큰 loss 감소를 달성하는지 Normalized Directional Sharpness(NDS)를 핵심 메커니즘으로 규명한다.

Muon optimizer가 LLM 학습에서 Adam보다 약 2배 효율적인 것으로 알려져 있으나 그 국소적 기하학적 원인은 불명확했다. 본 논문은 2차 테일러 전개를 통해 두 optimizer의 1차 이득은 비슷하지만 Muon의 곡률 페널티가 일관되게 작음을 보인다. 이 페널티 차이는 업데이트 크기가 아니라 업데이트 방향에 의해 결정되는 NDS에서 기인하며, 데이터 불균형이 클수록 Muon의 NDS 우위가 증폭된다. 이질적 곡률을 갖는 2차 문제에서도 Muon이 GD보다 낮은 평균 NDS와 더 큰 loss 감소를 달성함을 이론적으로 증명한다.

핵심 요약

• 2차 테일러 전개로 Muon과 Adam의 loss 감소를 분해 — 1차 이득은 비슷, 2차 곡률 페널티에서 차이 발생
• 업데이트 노름은 비슷하지만 Muon의 NDS(정규화 방향 샤프니스)가 낮아 곡률 비용이 작음
• Zipf-PCFG 통제 실험으로 데이터 불균형이 Muon의 NDS 우위를 증폭시킴을 입증
• 학습 중후반에 Muon의 낮은 NDS는 주로 within-layer 곡률 감소에서 기인
• 이질적 곡률 2차 문제에서 Muon이 high/low-curvature 방향에 균등한 업데이트 에너지를 배분
• 곡률 이질성이 충분히 클 때 Muon이 GD보다 낮은 loss를 달성함을 엄밀히 증명

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.