A Survey of Agentic Reasoning for Large Language Models: Towards Recursively Self-Improving and Collective Agents

이 논문은 LLM이 열린 환경에서 계획하고 행동하며 배우는 agent 추론 연구를, 단일 agent의 기본 능력, feedback과 memory로 스스로 나아지는 self-evolving 능력, 여러 agent의 협업이라는 세 층과 in-context, post-training 두 최적화 방식으로 나눠 정리했다.

이 논문은 한마디로 agent로 움직이는 LLM의 추론 방법을 한 틀로 묶은 survey다. 저자들은 2025년까지의 연구를 planning, tool use, search의 foundational 층, feedback과 memory로 스스로 나아지는 self-evolving 층, 여러 agent가 역할을 나눠 협업하는 collective 층으로 나누고, 층마다 추론 시점의 orchestration(in-context)과 RL, SFT 학습(post-training)을 구분했다. 수학과 코딩, 과학 발견, embodied agent, 의료, 웹과 연구 agent의 응용과 benchmark를 따로 모았고, credit assignment(결과에 대한 공을 행동마다 나누는 문제), world model(내부 시뮬레이션으로 앞일을 내다보게 하는 모델), governance 같은 남은 문제를 꼽았다.

핵심 요약

• 문제: LLM은 수학과 코드 benchmark 같은 닫힌 환경에서는 추론을 잘한다. 그러나 Chain-of-Thought prompting, decomposition, program-aided solving처럼 중간 추론을 드러내는 기법은 흔히 고정된 context와 짧은 추론을 전제하고, 기존 LLM에는 정보가 바뀌는 열린 환경에서 행동하고 적응하고 나아질 장치가 없다. 기존 survey는 모델 내부의 추론이나 agent 구조를 주로 다뤄서, 저자들은 추론을 planning, 행동, 학습을 잇는 중심 원리로 놓고 연구를 다시 정리한다.
• 조사 범위: 이 논문은 survey다. 2025년까지의 연구를 대상으로 단일 agent와 multi-agent의 planning, tool use, search, feedback, memory, self-improvement를 정리하고, 수학과 코딩, 과학 발견, embodied agent, 의료, 웹 탐색과 연구 agent의 응용과 benchmark를 별도 장에서 다룬다. 공식 저장소(Awesome-Agentic-Reasoning)는 같은 분류로 논문 목록 표를 모은 README와 그림 폴더(figs), 발표 자료 폴더(materials)를 공개한다.
• 분류: 환경 조건(environmental dynamics)에 따라 foundational 층(단일 agent의 planning, tool use, search), self-evolving 층(feedback, memory, 적응), collective 층(multi-agent의 역할 분담, 협업, co-evolution)을 둔다. 층마다 parameter를 고정한 채 추론 시점의 계산과 orchestration을 늘리는 in-context 방식과, RL과 fine-tuning으로 성공한 추론 방식을 weight에 넣는 post-training 방식을 나눈다. 정식화는 POMDP(부분 관측 마르코프 결정 과정) 위에서 policy를 내부 추론과 외부 행동으로 나누는 방식이다.
• 정리 내용: self-evolution은 바뀌는 대상에 따라 verbal(글로 쓴 반성과 지침, Reflexion), procedural(실행 가능한 tool과 skill의 library, Voyager), structural(agent의 소스 코드와 구조, AlphaEvolve)의 세 종류로 나눈다. feedback은 추론 중 자기 비판으로 고치는 reflective feedback, 학습으로 parameter에 넣는 parametric adaptation, unit test 같은 validator를 통과할 때까지 다시 뽑는 validator-driven feedback으로 나누고, 마지막 방식은 신호에 진단 정보가 없어 개별 출력을 바로잡는 데 그친다고 정리한다.
• 응용과 benchmark: 연구 agent 응용으로 아이디어 생성, 코드 작성, 실험 실행, 결과 시각화를 자동으로 잇는 The AI Scientist와, reviewer agent의 자동 peer review feedback과 반복 preference 학습으로 연구 agent가 다음 초안을 다듬는 CycleResearcher 등을 정리한다. benchmark는 tool use, search, memory와 planning, multi-agent 같은 메커니즘 단위와 실제 분야 단위로 나눠 소개하고, 예로 ToolLLM-ToolBench가 49개 분야의 실제 API 16,464개를 모았다고 적는다.
• 한계: 저자들은 남은 문제로 사용자 맞춤(personalization), 긴 상호작용에서 token, tool 호출, skill, memory 갱신 사이의 credit assignment, 변하는 환경에서 world model을 학습하고 평가하는 일, multi-agent 협업 학습, latent 공간 추론의 감사 가능성, 실제 배치의 governance를 꼽는다. 기존 benchmark와 guardrail은 주로 짧은 범위의 행동을 보고, multi-agent memory를 post-training으로 함께 최적화하는 연구는 아직 드물다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.