Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal Reasoners

멀티모달 증류에서 '인식' vs '추론' 실패를 구분하는 PCD 방법. 8B→2B, 32B→8B에서 기존 대비 +2.78~4.28%p 향상.

이 논문은 한마디로 큰 비전-언어 모델을 작은 모델로 압축(증류)할 때, 답이 틀린 원인이 '이미지를 잘못 봐서'인지 '추론을 잘못해서'인지 구분하는 방법을 제안했다. 기존에는 그냥 통째로 틀렸다고만 학습시켰는데, PCD(Perception-Correction Distillation)는 두 가지 신호(하위 실패율 + 교사-학생 불일치)를 곱해서 '정말 인식이 문제인 경우'만 집중 교정한다. 8개 벤치마크에서 8B→2B 이동 시 44.50→47.28, 32B→8B 이동 시 56.94→61.22로 향상됐다. NeurIPS 2026 게재.

핵심 요약

• 멀티모달 증류에서 '인식 실패'와 '추론 실패'를 분리하는 크레딧 할당 문제를 정식화했다.
• 하위 실패율(1-PSR)과 교사-학생 불일치(KL)를 곱하는 soft AND 게이트로, 두 신호가 모두 있을 때만 교정 강도를 높인다.
• 인식과 추론 롤아웃을 분리(separated rollout)해서 인식 구간만 증류, 추론 구간은 RL로 그대로 둔다.
• 32B→8B 이동 시 8개 벤치마크 평균 56.94→61.22(+4.28점), 8B→2B 시 44.50→47.28(+2.78점).
• PCD 가중치 제거 시 2.22점 하락, 분리 롤아웃 제거 시 0.88점 하락(어블레이션 검증).

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.