Self-Evolving Agents through Privileged Retrospective Distillation

이 논문은 정답 궤적이나 검증자 보상 없이 에이전트 자기 경험만으로 모델을 지속 개선하는 회고적 자기증류 RSD 프레임워크를 만들었다.

이 논문은 한마디로 에이전트가 쌓은 자기 경험을 특권적 회고 맥락으로 바꿔 같은 모델이 선생과 학생을 맡아 자기증류하는 Retrospective Self-Distillation을 제시한다. 선생은 선례, 교훈, 반성, 미래 사후정보를 보고 자기 행동을 다시 평가한다. Qwen3-8B와 14B에서 ALFWorld, ScienceWorld, SearchQA를 시험해 기반 모델 대비 최대 59.7% 상대 향상을 얻었다. 프런티어 모델이 맥락 구성 규칙을 진화시키면 여기서 최대 44.7%가 더 올랐다.

핵심 요약

• RSD는 정답 궤적과 검증자 보상 없이, 같은 모델이 특권적 회고 맥락을 보고 자기 행동을 다시 평가한 뒤 그 분포를 정책에 증류한다.
• 특권 맥락은 축적 경험에서 온 선례와 교훈, 그리고 현재 궤적이 끝난 뒤에만 쓸 수 있는 반성과 미래 사후정보 네 가지로 구성했다.
• Qwen3-8B와 14B로 세 벤치마크를 시험해 RSD는 기반 모델 대비 최대 59.7% 상대 향상을, 프런티어 유도 맥락 진화는 고정 맥락 대비 추가로 최대 44.7% 상대 향상을 얻었다.
• ALFWorld-8B에서 RSD는 평균 성공률 76.6으로 기반 모델의 62.9를 넘었고, ScienceWorld는 8B에서 15.6에서 23.4로, 14B에서 12.9에서 20.6로 올랐다.
• 프런티어 유도 맥락 진화는 ScienceWorld에서 8B 23.4에서 27.5로, 14B 20.6에서 29.8로 향상시켰고 두 규모 모두 무작위 탐색을 앞섰다.
• 경계 사례로 SearchQA는 여러 라운드에 걸쳐 성능이 좁은 구간에 머물렀다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.