Self-Augmenting Retrieval for Diffusion Language Models

이산 확산 언어모델에서 낮은 신뢰도 토큰을 검색 신호로 활용하는 학습 불필요 RAG 프레임워크다.

SARDI(Self-Augmenting Retrieval for Diffusion Language Models)는 이산 확산 언어모델에서 디노이징 과정에 버려지는 저신뢰도 토큰을 lookahead 신호로 활용하는 동적 RAG 프레임워크다. 이 토큰들은 출력이 완성되기 전에 주요 개체를 미리 표면화하는 경향이 있어, 더 강한 증거를 검색하는 데 활용할 수 있다. 학습이나 특정 검색기 없이 다섯 개 다중 홉 QA 벤치마크에서 기존 학습 불필요 확산 및 자기회귀 검색 기준선을 능가하며 최대 8배 높은 처리량을 달성한다.

핵심 요약

• 디노이징에서 버려지는 저신뢰도 토큰을 검색용 lookahead 신호로 활용한다.
• 학습 불필요, 검색기 무관, 모든 이산 확산 언어모델에 적용 가능하다.
• 저신뢰도 토큰이 출력 완성 전 주요 개체를 미리 표면화하는 특성을 이용한다.
• 5개 다중 홉 QA 벤치마크에서 기존 기준선들을 능가한다.
• 기존 대비 최대 8배 높은 처리량을 달성한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.