Stronger Normalization-Free Transformers

Princeton University, New York University, Carnegie Mellon University의 연구진은 정규화 없이 작동하는 점별 함수 Dynamic erf(Derf)를 도입했다. 이 함수는 비전, 음성, DNA, 언어 과제를 위한 다양한 Transformer 아키텍처 전반에서 LayerNorm 및 RMSNorm 같은 전통적 정규화 계층은 물론 Dynamic Tanh까지 일관되게 능가하며, 그 이점은 향상된 일반화 성능에서 비롯된다.

Princeton University, New York University, Carnegie Mellon University의 연구진은 정규화 없이 작동하는 점별 함수 Dynamic erf(Derf)를 도입했다. 이 함수는 비전, 음성, DNA, 언어 과제를 위한 다양한 Transformer 아키텍처 전반에서 LayerNorm 및 RMSNorm 같은 전통적 정규화 계층은 물론 Dynamic Tanh까지 일관되게 능가하며, 그 이점은 향상된 일반화 성능에서 비롯된다.

핵심 요약

• 전통적 정규화 계층(예: Batch Norm, Layer Norm)은 심층 신경망 학습을 안정화하지만, 오버헤드(메모리 접근, 동기화)와 배치 크기에 대한 민감성을 야기한다.
• Dynamic Tanh(DyT) 같은 기존의 정규화 없는 방법은 정규화에 필적하는 성능을 달성했지만 이를 체계적으로 능가하지는 못해, 추가 개선의 여지를 남겼다.
• 정규화 없는 Transformer에서 점별 함수의 본질적 속성이 학습 동역학과 모델 성능에 어떻게 영향을 미치는지에 대한 체계적 이해가 부족했다.
• 점별 함수의 네 가지 본질적 속성(영점 중심성, 유계성, 중심 민감도, 단조성)을 체계적으로 분석하여, 효과적인 정규화 없는 Transformer 구성요소를 위한 설계 원칙을 도출했다.
• 도출한 원칙을 바탕으로 점별 함수를 광범위하게 실증적으로 탐색했으며, 그 결과 오차 함수(erf)를 가장 성능이 우수한 설계로 식별했다.
• 오차 함수에 스케일·이동·바이어스 파라미터를 적용해 'γ·erf(αx+s)+β' 형태로 매개변수화한 점별 함수 Dynamic erf(Derf)를 개발했으며, 이는 Transformer 아키텍처의 모든 정규화 계층을 직접 대체하는 통계 비의존적 대안으로 기능한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.