Critique of Agent Model

이 논문은 agent라고 불리는 AI 시스템에서 자동화와 agency(스스로 목표를 세우고 행동을 정하는 능력)의 경계가 모호한 문제를, 다섯 기준의 분석과 world model(행동 뒤의 다음 상태를 예측하는 모델)을 따로 두는 GIC(Goal-Identity-Configurator) 아키텍처 제안으로 풀었다.

이 논문은 한마디로 지금의 AI agent가 목표, identity(자기 능력과 제약에 대한 자기 모델), 의사결정, 자기 조절, 학습을 사람이 짠 바깥 scaffolding에 맡긴다고 비판하고, 이 구조를 모델 안으로 옮긴 GIC(Goal-Identity-Configurator) 아키텍처를 제안한 position 논문이다. 저자들은 바깥 도구와 workflow로 일을 끝내는 agentic 시스템과, 이 능력들을 모델 안에서 스스로 유지하고 고치는 agentive 시스템을 나눈다. GIC는 여섯 구성 요소로 된 agent model과 다음 상태 예측 목표로만 따로 학습하는 world model로 이뤄지고, 저자들은 축소 구현과 예비 결과를 함께 낸 다른 논문에서 다룬다고 밝혔다. 증명한 정리 네 개 가운데 정리 1, 2, 4는 이점으로 각각 identity 수정이 무작위보다 나을 때 매 단계 identity를 고치는 학습의 regret(최선 선택 대비 손실의 합) 감소, 예측 오차가 상한 ϵ 이하인 world model의 계획을 골라 섞은 policy의 value 유지나 향상, world model 오차 항을 빼면 실제 경험만 쓴 학습 이상인 simulated 경험 혼합 학습을 보이고, 정리 3은 매 단계 고정 깊이로 계획하는 MPC(model-predictive control)가 정밀도를 높일수록 더 긴 horizon(앞을 내다보는 단계 수)을 요구한다는 한계를 보인다.

핵심 요약

• 문제: coding agent, AI co-scientist처럼 agent라는 이름을 단 LLM 시스템이 늘면서, 유능한 시스템을 만들고 무엇을 두려워할지 판단하려면 자동화가 끝나고 agency가 시작되는 지점을 밝혀야 하는 상황이 됐다. 저자들은 기존 survey들이 현재 시스템의 능력과 개선 방법은 폭넓게 다루면서, agency는 LLM이 환경과 상호작용하면 붙는 label처럼 당연하게 여기는 경향이 있다고 보았다.
• 주장: 이 논문은 분석, 아키텍처 제안, 정리 증명을 담은 position 논문이다. 저자들은 바깥에서 엮은 도구와 workflow로 일을 끝내는 agentic 시스템과, 목표, identity, 의사결정, 자기 조절, 학습을 모델 안에서 스스로 유지하고 고치는 agentive 시스템을 나누고, 지금의 AI 시스템은 대부분 agentic 단계에 있다고 본다. 안전 면에서는 해로운 행동이 목표 설정 오류(사람이 잘못된 목표를 줌)와 구성 요소의 결함 두 가지로 나뉘므로 GIC가 안전 문제를 다루기에 구조적으로 유리하다고 주장하고, 최종 목표는 바깥에서 주어지며 하위 목표, identity, 예측, 계획은 층마다 사람이 감사할 수 있다고 본다.
• 분류: 저자들은 agent라고 불리는 시스템을 행동을 만드는 방식에 따라 program 기반 bot, LLM wrapper(정해진 orchestration 안에 LLM을 넣은 시스템), LLM 중심 시스템, 모델 없는 물리 시스템(정해진 routine을 실행하는 산업용 robot 등), embodied model 시스템(인지, 추론, 제어를 한 모델에 통합한 robot과 자율주행 시스템) 다섯 종류로 나눴다. 다섯 기준별로 짚은 흔한 설계는 사람이 매 단계 주는 짧은 지시(목표), 고정 system prompt와 harness engineering(identity), end-to-end RL로 학습한 black-box policy(의사결정), RL에서 저절로 생기길 기대하거나 고정 workflow 단계에 넣은 계획(자기 조절), 사람이 일정을 짠 학습 pipeline(학습)이다. 저자들은 이 설계들에 공통으로 행동의 결과를 예측하는 내부 world model이 빠져 있다고 보았다.
• 제안: GIC의 agent model은 belief encoder(관찰을 세계 상태의 추정인 belief state로 바꾸는 부분), goal decomposer(긴 목표를 하위 목표로 나누는 부분), identity evolver(재학습 없이 자기 모델을 고치는 부분), configurator, simulative planner, actor 여섯 구성 요소로 이뤄진다. actor는 System I(즉각 행동)을, simulative planner는 System II(world model로 후보 행동의 결과를 예측해 고르는 계획)를, configurator는 System III(매 단계 새 계획, 기존 계획 유지나 수정, 바로 행동 가운데 무엇을 할지 고르는 자기 조절)를 맡는다. world model은 다음 상태 예측 목표로만 따로 학습하고 두 모델의 parameter는 분리된 채 activation과 출력으로만 연결되며, 학습은 사전학습 LLM에서 출발하는 구성 요소 사전학습, world model 안의 simulative RL, 실제 환경 배포 뒤 보정의 세 단계로 제안했다.
• 근거: 정리 2는 이점으로, world model의 다음 상태 예측 오차가 total variation(두 확률분포의 거리) 기준으로 ϵ 이하일 때 어떤 policy든 world model 계획을 골라 섞어 value(기대 누적 reward)가 같거나 더 높은 mixed policy를 만들 수 있음을 보인다. 정리 3은 매 단계 고정 깊이로 계획하는 MPC(model-predictive control)의 한계로, 원하는 계획 정밀도가 높아질수록 필요한 horizon이 크게 늘어남을 보인다. 정리 1은 identity 수정이 무작위보다 나을 때 매 단계 identity를 고치는 학습의 기대 누적 regret이 재학습만 하는 학습보다 작다는 이점을, 정리 4는 simulated 경험을 섞어 배운 최선 policy의 value가 실제 경험만 쓴 최선 policy의 value에서 world model 오차에 비례하는 항을 뺀 값 이상이고 world model이 완벽하면 같거나 더 높다는 이점을 보인다.
• 한계: 저자들은 GIC의 축소 구현 세부와 예비 결과를 함께 낸 다른 논문(companion manuscript)에서 다룬다고 밝혔다. 저자들이 제안한 평가 기준 Performance, Efficiency, Growth 가운데 그 예비 결과는 앞의 두 기준에서 초기 근거를 주고, Growth 평가는 앞으로의 과제로 남았다. 정리 2의 전제인 예측 오차 상한 ϵ은 world model을 예측 정확도 목표로 학습할 때만 믿을 수 있고, 해로운 행동이 0으로 수렴한다는 안전 논의의 결론도 목표가 맞고 충분히 잘 학습된 시스템에 한정된다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.