Energy-Guided Flow Matching

이미지 생성 과정을 '저해상도 → 고해상도' 순서로 진행하도록 경로를 바꿔서, 더 빠르고 품질 좋은 이미지 생성을 달성한 방법이다.

이 논문은 한마디로 픽셀 단위 이미지 생성에서 '거친 구조부터 세부 디테일까지' 순서대로 만들어가는 새로운 생성 경로를 제안했다. 기존 방식은 처음부터 끝까지 같은 목표 이미지를 향해 가했지만, EG-FM은 초기에는 저해상도(흐릿한) 목표를, 후반에는 원본 고해상도 목표를 제시한다. 이를 위해 각 이미지의 주파수 에너지(어떤 패턴 성분이 많은지)를 측정해서 이미지마다 최적의 진행 속도를 자동으로 정한다. 백본 구조나 학습 데이터를 바꾸지 않고도 ImageNet 256x256에서 FID 1.45를 달성했다.

핵심 요약

• 흐름 맞추기의 고정된 깨끗한 영상 종착점을 저주파 영상에서 원본으로 움직이는 종착점으로 바꿔 거친 구조부터 세부를 만들게 했다.
• 영상마다 주파수 에너지를 계산해 빠진 에너지가 같은 비율로 풀리도록 열 확산 시간을 자동 조절했다.
• ImageNet 256×256에서 200회 학습 뒤 FID 1.55, 600회 뒤 1.45를 기록해 품질과 학습 효율을 함께 높였다.
• 512×512에서는 FID 1.58, 글로 영상 만들기에서는 GenEval 0.85와 DPG-Bench 83.9를 기록했고 구조 변경이나 추가 손실이 필요 없었다.
• 비디오와 시간에 따라 변하는 신호, 글과 영상의 공동 모형, 몸을 쓰는 의사결정 및 가장 큰 최신 기반 모델에서는 아직 평가되지 않았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.