Unveiling the Secret of AdaLN-Zero in Diffusion Transformer

이 논문은 Diffusion Transformer(DiT)의 핵심 조건화 기법인 adaLN-Zero가 왜 잘 작동하는지 분석하고, 영감을 얻은 새 초기화(adaLN-Gaussian)와 구조(SE-adaLN-Zero)를 제안했다.

이 논문은 한마디로 DiT(이미지 생성용 트랜스포머)에서 성능을 좌우하는 핵심 기법인 adaLN-Zero가 왜 잘 되는지를 파헤쳤다. 세 가지 요소(SE 구조, 영 초기화, 점진적 가중치 갱신) 중 영 초기화가 가장 중요하고, 그 이유가 학습된 가중치 분포가 가우시안에 가까워지기 때문임을 발견했다. 이를 바탕으로 처음부터 가우시안으로 초기화하는 adaLN-Gaussian과 SE 구조를 강화한 SE-adaLN-Zero를 제안했다.

핵심 요약

• adaLN-Zero의 성능 향상 요인을 SE 구조, 영 초기화, 점진적 갱신 세 가지로 분해해서 분석했다.
• 영 초기화가 가장 중요하며, 학습 후 조건 변조 가중치들이 가우시안 분포를 따르는 것을 발견했다.
• 가우시안 분포로 초기화하는 adaLN-Gaussian을 제안해 분석을 검증하고 실용적 이득을 얻었다.
• SE 구조에서 영감을 얻은 SE-adaLN-Zero로 추가 성능 향상을 달성했다.
• ImageNet1K 등 4개 데이터셋에서 일관된 개선과 일반화를 확인했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.