Generative Recursive Reasoning

KAIST, Mila, 뉴욕대학교, 몬트리올대학교의 연구진이 재귀 신경망에 확률성을 주입하여 다중 가설 탐색과 생성 능력을 가능하게 하는 프레임워크인 생성형 재귀 추론 모델(GRAM)을 도입했다.

기존 재귀 추론 모델은 하나의 잠재 상태 경로를 반복해 하나의 답으로 수렴하므로 여러 해법을 탐색하거나 다양한 결과를 만들기 어렵다. GRAM은 각 재귀 단계의 잠재 전이를 확률적으로 만들어 여러 가설과 해결 전략을 병렬 궤적으로 다루는 생성형 재귀 추론 모델이다. 상각 변분 추론으로 학습하며 반복 깊이와 병렬 샘플 수를 함께 늘려 추론 시점 계산을 확장하고, 조건부 문제 풀이와 입력이 없는 생성 모두를 지원한다. 구조화 추론과 여러 해가 있는 제약 문제에서 결정적 재귀 기준선보다 좋아졌고, 단순히 잡음을 넣는 것보다 학습된 확률적 안내가 중요하다는 절제 실험도 제시했다. 다만 깊은 감독이 순차적으로 진행되어 Transformer보다 학습 효율이 낮고, 실험도 통제된 벤치마크에 집중되어 큰 범용 모델이나 고위험 실제 환경에는 추가 검증이 필요하다.

핵심 요약

• 다수결 투표는 샘플들 가운데 가장 흔한 답을 선택한다.
• 확률성은 잠재 상태의 확률성이 구조화된 추론을 위한 강력한 도구임을 입증하여, 모델이 차선의 결정론적 궤적에 갇히는 것을 방지함으로써 결정론을 극복한다.
• 폭 기반 스케일링은 단순히 시퀀스 길이나 모델 크기를 늘리는 대신 병렬 샘플 수, 즉 폭을 늘려 추론 성능을 확장하는 방법을 도입한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.