Are Self-Evolving Agents Continual Learners?

이 논문은 스스로 진화하는 LLM 에이전트가 계속 바뀌는 작업 흐름에서 새 작업을 배우면서 옛 기억을 지키는지를 네 가지 시나리오로 시험한 연구다.

이 논문은 한마디로 가중치를 얼려 두고 프롬프트·기억·스킬 같은 하네스만 고쳐서 스스로 진화하는 에이전트가 지속학습자 구실을 하는지 확인한 연구다. 저자들은 BIRD, BFCL, ScienceWorld 로 네 가지 흐르는 작업 흐름을 만들고 ReasoningBank, GEPA, Meta-Harness 셋을 평가했다. 결과는 대부분 흐름에서 전체 성적이 올라갔지만, 새 작업을 잘 배우는 유연성과 옛 작업을 지키는 안정성이 항상 맞바꿈이었다. 저자들은 현재 자기진화 에이전트가 아직 불완전한 지속학습자라고 결론지었다.

핵심 요약

• 저자들은 주제, 작업 방식, 환경이 순서대로 바뀌는 네 가지 작업 흐름을 만들고 ReasoningBank, GEPA, Meta-Harness 셋을 시험했다.
• 평균적으로 자기진화는 성적을 올렸고, 마지막 이점은 GEPA가 +3.7, ReasoningBank가 +2.5, Meta-Harness가 +1.4 pp였다.
• 하지만 GEPA는 공유 프롬프트를 통째로 고쳐서 유연성이 가장 높은 대신 안정성 손실이 평균 −4.3으로 가장 컸다.
• ReasoningBank는 기억 검색으로 갱신을 국소화해서 평균 안정성 −1.9로 가장 좋았지만, 유연성은 +3.3에 그쳤다.
• 작업 방식이 충돌하는 비슷한 질문에서는 검색 충돌이 일어나, workflow drift 끝에 52%의 BFCL-Miss 에피소드가 반대 방식의 기억을 가져왔다.
• 저자들은 현재 자기진화 에이전트가 완전한 지속학습자가 못 된다고 보고, 작업별 갱신을 분리하고 검색을 겉모습 너머로 조건화할 방법을 요구했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.