Representation Distribution Matching for One-Step Visual Generation

iRDM: 동결된 인코더 배터리로 특징 분포를 매칭해 1단계 이미지 생성기를 학습하는 새 패러다임. ImageNet 1단계 SOTA 달성.

Representation Distribution Matching(RDM) 패러다임을 체계적으로 분석하여 두 설계 축(분포 비교 방식, 표현 공간)을 식별하고, 개선된 iRDM 레시피를 제안한다. 핵심 발견은 MMD가 적절히 추정되면 강력한 목적함수가 된다는 것, 단일 인코더는 게임 가능하므로 다양한 인코더 배터리가 필요하다는 것이다. iRDM은 ImageNet에서 1단계 SOTA(SWr14 1.30)를 달성했으며, 4단계 FLUX.2를 1단계로 압축하면서 원본보다 더 높은 GenEval(0.826 vs 0.794)을 기록했다.

핵심 요약

• RDM을 '분포 비교'와 '표현 공간' 두 축으로 체계화하고 각각의 최적 설계를 도출
• MMD가 Nyström 근사+큰 배치(2048 이상)로 추정될 때 강력한 목적함수가 됨을 입증
• 단일 인코더는 게임 가능→14개 인코더로 SWr14 평가 지표 제안, 학습 손실과 독립적으로 게임 저항
• iRDM: ImageNet 1단계 SOTA SWr14 1.30, PickScore 71.2% 승률
• FLUX.2[klein] 4단계→1단계 압축: GenEval 0.826(원본 0.794), 90 H200 GPU시간
• 제약 최적화(Proportional Lagrangian)로 인코더 간 균형 유지하여 weakest encoder 개선

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.