GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning

모델 가중치는 그대로 두고 추론 시점에만 내부 은닉상태를 최적화하는 방법이다. 잠재 변수를 트랜스포머 중간 층에 끼워 넣어 생성된 모든 토큰에서 잠재 변수로 기울기가 바로 흐르게 만들었다.

기존의 테스트타임 잠재 추론 방법은 잠재 변수를 토큰으로 디코딩한 뒤 그 토큰을 통해 보상을 전달해서, 잠재 변수가 이후 추론에 어떻게 기여했는지 배분하기 어려웠다. GradCuit는 프롬프트 은닉상태와 생성 토큰 은닉상태 사이, 즉 선택한 트랜스포머 층에 최적화 가능한 잠재 상태를 끼워 넣는다. 인과적 셀프 어텐션 덕분에 이후 모든 토큰의 로그확률이 앞선 모든 잠재 상태에 대해 미분 가능해지고, 보상 가중 기울기가 잠재 상태로 직접 간다. 백본 5개, 추론 벤치마크 3개, 답 형식 2개에서 평균 정확도 64.5%로 chain of thought(풀이 과정을 글로 적어 가며 답하게 하는 방식) 대비 6.6포인트, 가장 센 경쟁 방법 대비 2.4포인트 높았다. 학습률 7개 설정에서 정확도 표준편차가 1.53에서 0.82로 줄어 안정성도 좋아졌다.

핵심 요약

• 최적화할 잠재 상태를 선택한 트랜스포머 층의 프롬프트 표현과 생성 토큰 표현 사이에 넣고 기본 모델 매개변수는 고정했다.
• 인과 자기어텐션을 통해 생성된 모든 토큰의 보상 가중 기울기가 디코딩 우회 없이 앞선 잠재 상태로 직접 흐르게 했다.
• 다섯 기반 모델과 세 추론 벤치마크, 두 답 형식의 평균 정확도는 64.5%로 가장 강한 비교법보다 2.4점, 생각 과정 유도보다 6.6점 높았다.
• 일곱 학습률에서 정확도 변동을 1.53에서 0.82로 줄였고, 기울기 분석에서는 잠재 영향이 추론 연결어에 집중됨을 보여 해석 가능성도 제시했다.
• 효과가 모델 깊이의 앞쪽~중간 층에서 가장 컸고 뒤쪽 층에서는 사라졌으며, 평가는 세 추론 과제에 한정돼 층 선택과 다른 과제로의 일반화 검증이 필요하다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.