Scaling Properties of Text Conditioning in Visual Generation

이미지 생성에서 텍스트 조건의 스케일링 법칙을 발견했다. 단순히 프롬프트가 길어지는 게 아니라 '정보량'이 늘어나야 화질이 좋아진다는 걸 증명한 논문.

이 논문은 한마디로 이미지 생성 AI에서 '프롬프트가 담은 정보량'이 화질을 결정한다는 사실을 처음으로 수학적으로 증명한 연구다. 자연어 프롬프트를 아무리 길게 써도 정보가 늘지 않으면 화질이 안 좋아지지만, 구조화된 프롬프트(객체 위치, 속성, 장면을 JSON 필드로 나누는 방식)로 바꾸면 정보가 계속 추가되면서 화질이 선형적으로 좋아진다. 이를 GPG와 ED라는 두 가지 정보량 측정법으로 검증했고, 확산 모델의 학습 손실이 정보량에 비례해서 줄어드는 스케일링 법칙을 찾았다. 마지막으로 LLM 기반 프롬프터를 훈련해서 사용자 요청을 자동으로 구조화된 프롬프트로 바꾸는 시스템을 만들었는데, 거의 모든 벤치마크에서 기존 오픈소스 모델을 능가했다.

핵심 요약

• 자연어 프롬프트는 길어져도 정보가 늘지 않아 화질 개선이 멈추지만, 구조화된 프롬프트는 정보가 계속 추가되면서 선형적으로 화질이 좋아진다는 걸 증명했다.
• GPG(이미지-텍스트 정합도)와 ED(속성 정밀도)라는 두 가지 정보량 측정법을 도입해서 확산 손실과의 관계를 수학적으로 수치화했다.
• LLM 프롬프터를 SFT + 콜드스타트 + 검증기 기반 강화학습으로 훈련해서, 사용자의 짧은 요청을 정보가 풍부한 구조화된 프롬프트로 자동 변환하는 시스템을 만들었다.
• 최종 시스템이 구성·추리·세계지식 벤치마크에서 평가한 모든 오픈소스 모델을 능가했고, 폐쇄형 최상위 모델과도 맞먹거나 더 좋은 성능을 냈다.
• 정교한 편집(객체 이동, 재질 변경, 장면 교체)이 구조화된 프롬프트의 필드 수정만으로 가능해졌다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.