PC Layer: Polynomial Weight Preconditioning for Improving LLM Pre-Training

다항식 전처리기로 가중치 특이값 스펙트럼을 안정화해 LLM 사전학습을 개선하는 PC Layer 방법이다.

PC Layer는 저차 다항식 전처리를 통해 가중치 행렬의 특이값 스펙트럼을 재형성하여 LLM 사전학습 전반에서 안정적인 가중치 조건수를 보장하는 가중치 파라미터화 방법이다. 학습 후 전처리된 가중치는 원래 아키텍처에 병합 가능해 추론 시 오버헤드가 없다. Llama-1B 사전학습에서 AdamW와 Muon 최적화기 모두에 대해 표준 transformer 대비 우수성을 보이며, 이론적으로는 각 층의 특이값을 균일하게 제한하면 깊은 선형 네트워크에서 기울기 하강의 기하학적 수렴을 보장함을 증명한다.

핵심 요약

• 저차 다항식 전처리로 가중치 행렬의 특이값 스펙트럼을 안정화한다.
• 학습 후 가중치를 원래 아키텍처에 병합해 추론 오버헤드가 없다.
• Llama-1B에서 AdamW, Muon 모두에 대해 표준 transformer 대비 성능 향상을 달성한다.
• 이론적으로 층별 특이값 균일 제한 시 기울기 하강의 기하학적 수렴을 보장한다.
• 추가 파라미터나 구조 변경 없이 기존 LLM 학습 파이프라인에 적용 가능하다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.