Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation

생성 모델의 훈련 루프를 분해하는 '탐색적 모델링' 제안. 파라미터·데이터에 이은 제3의 스케일링 축을 열었다.

이 논문은 한마디로 생성 모델(이미지·비디오·언어)의 훈련 방식을 근본적으로 바꾸는 새 패러다임을 제안했다. 기존에는 생성 과정을 여러 스텝으로 쪼개서 훈련했는데, 이 논문은 대신 훈련 루프 자체를 분해한다. 각 훈련 스텝마다 K개의 후보 매칭을 탐색하고 가장 좋은 것으로 학습한다(Explorative Modeling). 결과적으로 FLOP 효율 4.1배, 샘플 효율 6.2배 향상, ImageNet에서 guidance 없이 FID 1.43 달성, 그리고 디퓨전 모델과 비슷한 성능을 16~256배 적은 추론 스텝으로 달성했다. 파라미터와 데이터 외에 '탐색'이 새로운 스케일링 축으로 자리잡을 수 있다는 게 핵심이다.

핵심 요약

• 생성 모델 훈련에서 '탐색(exploration)'이라는 제3의 스케일링 축을 발견했다. 파라미터·데이터에 더해 탐색량을 키울수록 성능이 올라간다.
• FLOP 효율 4.1배, 샘플 효율 6.2배, 파라미터 효율 47% 향상. 데이터가 클수록 효과도 커져서 7%→36%까지 상승한다.
• ImageNet 256×256에서 guidance 없이 FID 1.43으로 준최고성능(SOTA 근접)을 달성했다.
• 엔드투엔드 생성 모델(추론이 훈련과 동일)이 가능해져, 디퓨전 대비 16~256배 적은 스텝으로 비슷한 성능을 낸다.
• 탐색량이 컬수록 일반화(generalization)도 함께 향상되는 현상을 관찰했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.