Fractal Generative Models

MIT CSAIL과 Google DeepMind 연구진은 생성 모델을 재귀적으로 구성해 자기 유사적 구조를 만드는 프레임워크 Fractal Generative Models를 제안한다.

MIT CSAIL과 Google DeepMind 연구진은 생성 모델을 재귀적으로 구성해 자기 유사적 구조를 만드는 프레임워크 Fractal Generative Models를 제안한다. 이 방법은 ImageNet에 대한 픽셀 단위 이미지 생성에서 최신 수준의 우도를 달성하며, 향상된 연산 효율성으로 고품질 이미지를 생성한다.

핵심 요약

• 전통적 생성 모델은 원시 이미지처럼 고차원이고 비순차적인 데이터에 요구되는 연산 부담과 인위적 순차화에 어려움을 겪는다.
• 높은 해상도에서 고충실도 픽셀 단위 이미지 생성을 달성하는 것은 막대한 차원 수 때문에 연산적으로 실현 불가능하고 어렵다.
• 기존 딥러닝의 모듈화는 종종 계층이나 단순 블록에 국한되어, 전체 생성 모델을 구성하기 위한 상위 수준의 추상화가 결여되어 있다.
• 기존 생성 모델을 원자적 생성 모듈로 재귀적으로 호출해 자기 유사적 구조를 형성하는 새로운 생성 모델링 패러다임 'fractal generative models'를 제안한다.
• 이 프레임워크는 이미지 패치에 대한 분할 정복 전략을 사용해 픽셀 단위 이미지 생성을 위한 자기회귀(AR) 모델(FractalAR/FractalMAR)로 구체화된다.
• 각 계층 수준에서 다중 스케일 패칭과 국소 어텐션 메커니즘을 활용해 고해상도 이미지 생성에 따른 2차 연산 비용을 대폭 줄인다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.