Discrete Beckmann Transport Models for One-Step Language Modeling and Reasoning

디퓨전 언어모델을 한 번의 계산으로 문장을 뽑는 '한 걸음 생성'으로 압축하되, 기존의 교사 모델 증류 없이 데이터에서 직접 학습하는 DBTM을 제안한 논문.

이 논문은 한마디로 자기회귀가 아닌 디퓨전 방식 언어모델을 한 번(또는 몇 번)의 계산으로 생성하게 만드는 새로운 수송맵 학습법이다. 시간에 무관한 흐름(autonomous flow)의 지도가 어떤 점이든 정점(완성된 문장)으로 수렴한다는 성질을 이용해, 보존방정식 잔차를 최소화하면 교사 모델 없이 데이터에서 직접 한 걸음 지도를 학습할 수 있음을 증명했다. 부분 학습된 지도를 반복 적용하면 정점에 닿으므로, 적게 계산하고도 품질을 올릴 수 있다. 언어모델링과 추론 과제에서 디퓨전·플로우 기준 모델들을 같거나 더 적은 계산량으로 앞질렀다.

핵심 요약

• 한 걸음 수송맵이 보존방정식 b·∇T=0을 만족한다는 이론을 세우고, 그 잔차를 최소화해 교사 증류 없이 직접 학습하는 방법을 만들었다.
• 부분 학습된 지도를 반복 적용하면 고정점(완성 문장)에 수렴하므로, 계산 횟수를 줄이고도 정확도를 끌어올릴 수 있다.
• 부분 문맥 보간으로 추가 계산을 '정제 단계'로 활용하는 자기수정 생성을 지원한다.
• 언어모델링(OpenWebText 생성 PPL)과 추론 과제에서 디퓨전/플로우 맵 기준 모델(FMLM 등)보다 같거나 적은 함수평가횟수로 더 좋은 성능을 냈다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.