From AutoResearch to Continual AutoResearch: Do Agents Learn Across Tasks?

이 논문은 연구 에이전트가 이전 과제 경험을 다음 과제에 실제로 쓰는지를 지속 실행과 초기화 실행의 짝 비교로 측정한 평가 환경 논문이다.

이 논문은 한마디로 에이전트가 과제 사이에 경험을 보존하면 더 나은지를 잰 평가 환경이다. 같은 에이전트를 지속 실행과 초기화 실행으로 나눠 같은 과제 흐름, 데이터, 예산에서 비교했다. 다섯 최전선 에이전트 모두 지속 상태가 더 빨리 좋은 해를 찾게 했지만, 최종 성능 향상으로 일관되게 이어지지는 않았다. 저자들은 경험을 보존하는 것과 잘 활용하는 것은 다른 능력이라고 결론지었다.

핵심 요약

• 같은 에이전트의 지속 실행과 초기화 실행을 같은 과제 흐름, 데이터, 예산에서 짝지어 비교하는 CONTINUAL AUTORESEARCH 환경을 제안했다.
• 평가는 합성 과제, 기호 회귀, 시계열 예측, 테이블 오토ML을 아우르는 아홉 과제군으로 이뤄졌다.
• CLI 방식 최전선 에이전트 다섯 개를 평가했고, 지속 상태가 다섯 모두의 고정 예산 연구 효율을 높였다.
• 시간 수렴 이득은 Kimi K3가 +21.3, Sonnet 4.6이 +20.9, Opus 5가 +7.5, GPT-5.6-Sol이 +6.1, GPT-5.4가 +3.0 포인트였다.
• 평균 최종 성능 이득이 뚜렷한 에이전트는 Sonnet 4.6의 +7.6 포인트뿐이었고, 나머지는 0 근처거나 소폭 감소했다.
• 기억 절제 실험에서 관련 인사이트 카드는 초기화와 탐색을 바꿨지만 최종 성능을 일관되게 좋게 하지는 않았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.