InterleaveThinker: Reinforcing Agentic Interleaved Generation

기존 이미지 생성기에 교차 생성(텍스트-이미지 시퀀스) 능력을 부여하는 최초의 멀티 에이전트 파이프라인. Planner-Critic 구조로 시각적 과의존과 단계별 오류 누적을 해결한다.

InterleaveThinker는 고정된 이미지 생성기를 교차 생성 능력을 갖추도록 만드는 최초의 멀티 에이전트 프레임워크다. Planner 에이전트가 전체 명령 시퀀스를 예측하고, Critic 에이전트가 각 단계의 출력을 평가하고 수정하여 재생성을 지시한다. GRPO 기반 단계별 RL로 Critic의 정정 능력을 강화했으며, FLUX.2-klein 기준 WISE 0.47에서 0.73, RISE 13.3에서 28.9의 큰 향상을 달성했다. Nano Banana 및 GPT-5 수준의 교차 생성 성능을 달성했다.

핵심 요약

• Planner-Gen-Critic 3에이전트 구조로 시각적 과의존(visual over-reliance)과 단계별 오류 누적 해결
• Planner는 중간 피드백 차단으로 전역 목표 유지, Critic은 단계별 평가 및 프롬프트 정제
• Interleave-Planner-SFT-80k, Critic-SFT-112k, Critic-RL-13k의 고품질 데이터셋 구축
• 정확도 보상 + 단계별 보상의 이중 보상 전략으로 단일 단계 RL로 전체 궤적 최적화
• FLUX.2-klein 기준 WISE 0.47에서 0.73, RISE 13.3에서 28.9 향상, Nano Banana/GPT-5 수준 달성
• 이미지 생성기 교체 가능(FLUX.2-klein, Qwen-Image-Edit 모두 적용 가능)

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.