Normalized Low-Rank Adaptation

LoRA(적은 파라미터로 모델을 조정하는 기법)의 다운 프로젝션 행렬을 정규화하는 것만으로 학습 속도·성능·안정성을 함께 끌어올린 간단한 개선법이다.

이 논문은 한마디로 인기 미세조정 기법인 LoRA에 '정규화' 하나를 얹어 학습을 더 빠르고 안정적으로 만드는 NoRA를 제안했다. LoRA는 학습 초기에 업 프로젝션이 0으로 시작하므로 다운 프로젝션 행렬 A가 학습 방향을 사실상 지배하는데, NoRA는 이 A의 크기를 랭크 방향으로 정규화해 저랭크 축들 사이의 균형을 잡는다. 사전학습·미세조정·강화학습 모두에서 수렴이 빨라지고 성능이 올라가며, 기존 지식을 잊는 치명적 망각도 줄었다. 파라미터 추가도 추론 비용 증가도 없어 기존 LoRA 파이프라인에 그대로 얹을 수 있다.

핵심 요약

• LoRA의 초기 학습이 다운 프로젝션 A에 좌우된다는 점을 짚고, A를 랭크 방향으로 정규화하는 것만으로 최적화가 개선됨을 보였다.
• 감독 미세조정 평균을 37.93(LoRA)에서 43.37로 올렸고, 초기화 시점에만 정규화를 적용하는 NoRA-init만으로도 42.38까지 올랐다.
• 수학 추론 강화학습(RLVR)에서 전체 평균 44.4%로 LoRA(42.8%)를 넘었고, 같은 설정에서 SVD 기반 PiSSA는 0.2%로 무너지는 것과 대조적으로 안정적이었다.
• 적응 후 기존 지식 유지(MMLU 등 3종 평균 변화)가 +0.02로, LoRA(-0.56)나 MiSS(-0.70)보다 망각이 훨씬 적었다.
• DoRA에도 같은 정규화 원리를 적용해 38.30에서 41.40으로 올려, 아이디어가 LoRA 계열에 한정되지 않음을 확인했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.