Context-weighted Discrete Flow Matching

이산 플로우 매칭에서 토큰 주변의 지역 컨텍스트 밀도를 활용해 생성 품질을 크게 높이는 간단한 수정을 제안했다.

이 논문은 한마디로 텍스트/분자 생성에 쓰이는 이산 플로우 매칭(DFM)에서 '주변에 이미 채워진 토큰이 많을수록 예측이 쉽다'는 단순한 관찰을 활용해 생성 품질을 높인다. 저자들은 주변 컨텍스트 밀도에 따라 샘플링 속도와 학습 가중치를 조절하는 방법을 제안했다. OpenWebText에서 생성 퍼플렉시티를 63% 낮췄고, 분자 생성에서 유효 분자 수를 2.8배 늘렸다. 별도 추가 계산 없이 기존 모델에 바로 적용할 수 있다.

핵심 요약

• 토큰 주변의 채워진 이웃 수가 많을수록 예측 엔트로피가 낮아진다는 것을 실험으로 확인했다.
• 지역 컨텍스트 밀도를 샘플링에 반영하는 context-weighted sampler를 제안했다 (추가 학습 불필요).
• Scaled Cross-Entropy 손실 함수로 훈련 신호를 재가중해서 OpenWebText 생성 퍼플렉시티를 63% 낮췄다.
• 분자 생성(QM9)에서 유효 분자 수를 2.8배, 새로운 분자 수를 1.9배 각각 늘렸다.
• 반자유회귀(semi-AR) 블록 확산 기반 방법과 비슷한 품질을 유지하면서도 순서 무관 생성의 유연성을 보존했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.