Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers

AI가 긴 문서를 읽으며 남긴 '생각 흔적'을 문서 앞쪽에 붙여 다시 읽게 하는 것만으로 긴 문서 이해력을 크게 끌어올린 논문이다.

이 논문은 한마디로 모델이 긴 문서를 한 번 읽고 남긴 추론 흔적을, 두 번째 읽기 때 문서 '앞'에 넣어주면 문서 '뒤'에 넣을 때보다 성적이 크게 오른다는 발견이다. 트랜스포머는 앞에서 뒤로만 읽는 구조라 나중에야 알게 된 정보를 앞부분 해석에 쓸 수 없는데, 저자들은 '필요한 조건을 먼저 주면 나중에 줄 때보다 필요한 기억 공간이 최악의 경우 지수적으로 적다'는 이론으로 이 현상을 설명한다. 실제로 세 모델 × 세 긴 문서 과제의 27가지 조합 중 26가지에서 앞에 넣는 방식이 이겼고, 한 과제에서는 GLM-5.2가 66.4%에서 100%까지 올라갔다. 모델 구조를 전혀 안 바꾸고 프롬프트 배치만 바꾸는 방법이라 바로 적용할 수 있다.

핵심 요약

• 첫 독서에서 나온 추론 흔적을 긴 문서 앞에 붙여 다시 읽게 하는 것만으로, 27가지 모델×과제×지표 조합 중 26가지에서 기존 방식(흔적을 뒤에 붙임)을 이겼다.
• '조건을 먼저 주면 나중에 줄 때보다 필요한 기억 공간이 지수적으로 적다'는 이론 분석으로 왜 앞에 넣는 게 유리한지 설명했다.
• GraphWalks Parents 과제에서 GLM-5.2는 정확도가 첫 시도 66.4%에서 100%로, DeepSeek V4 Pro는 29.2%에서 81.8%로 올라갔다.
• 다른 문제의 흔적을 넣으면 오히려 성적이 떨어졌다. 형식이 아니라 그 문제 특유의 정보가 효과의 원인이라는 뜻이다.
• 흔적 개수를 1개에서 5개로 늘릴수록 성적이 계속 올라가, 추론 횟수를 조절하는 추가 스케일링 지점으로도 쓸 수 있다.
• 모델 구조 수정이 전혀 없어서 긴 문서를 다루는 어떤 서비스에도 바로 붙일 수 있는 게 최대 장점이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.