How Transparent is DiffusionGemma?

텍스트 디퓨전 모델 DiffusionGemma의 투명성을 분석. 불투명 직렬 깊이를 28.6배에서 1.1배로 줄이고, Gemma 4와 유사한 모니터링 가능성을 확인.

Google DeepMind의 DiffusionGemma는 자기회귀 모델과 달리 연속 잠재 공간에서 상당 부분의 계산을 수행하는 텍스트 디퓨전 모델이다. 본 연구는 불투명 직렬 깊이(opaque serial depth)가 Gemma 4의 28.6배에서, 디노이징 단계 간 정보를 해석 가능한 토큰 병목으로 매핑하면 1.1배로 감소함을 보인다. 모니터링 평가에서 DiffusionGemma는 Gemma 4와 유사한 수준을 보이며, 비순차적 추론, 토큰 스미어링, 중간 맥락 추론 등 디퓨전 특유의 새로운 현상을 발견했다.

핵심 요약

• 투명성을 변수 투명성(중간 상태 이해도)과 알고리즘 투명성(과정 복원 가능성)으로 분해 분석
• 불투명 직렬 깊이: 초기 Gemma 4의 28.6배 → 토큰 병목 매핑 시 1.1배로 감소
• 디노이징 단계 간 self-conditioning을 O(c) 토큰으로 압축해도 downstream 성능 저하 미미
• 모니터링 평가: DiffusionGemma ≈ Gemma 4 (유사한 CoT 모니터링 품질)
• 디퓨전 특유 현상 발견: 비순차적 추론, 토큰/시퀀스 스미어링, 중간 맥락 추론
• 미래 잠재 추론 모델의 투명성 감사를 위한 프레임워크 및 벤치마크 제시

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.