Variable-Width Transformers

트랜스포머 층별 폭을 비균등하게 배분하는 ×자형 구조(> <former). 양끝은 넓고 중간은 좁게 설계하여 동일 파라미터 대비 성능 향상 + FLOPs 22% 절감.

Variable-Width Transformers(> <former)는 모든 층이 동일한 폭을 갖는 관례를 깨고, ×자형 비균등 폭 분배를 제안한다. 초기·후기 층은 넓고 중간층은 좁게 설계하여, 잔차 스트림의 비활성 차원을 복사하는 파라미터 프리 방식으로 구현한다. 200M~2B 밀집 모델과 3B MoE에서 일관된 성능 향상을 보인다.

핵심 요약

• 트랜스포머 모든 층의 폭이 같아야 한다는 가정을 깨고 비균등 폭 배분 체계적으로 탐구
• ×자형(양끝 넓고 중간 좁음) 구조가 파라미터 매칭 균등 폭 대비 일관되게 우수
• 파라미터 프리 residual resizing으로 투영 레이어 없이 차원 축소/복원 구현
• 동일 파라미터 대비 perplexity ~3% 향상, KV cache ~10% 절감, FLOPs ~3% 절감
• loss-matched scaling curve 기준 FLOPs 22% 감소, MoE 트랜스포머까지 확장
• 중간층 표현 붕괴를 완화하여 층별 질적으로 다른 표현 학식 유도

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.