Code as Agent Harness

일리노이대학교 어배너-섐페인, Meta, 스탠퍼드대학교의 연구진이 코드를 LLM의 출력물에서 견고한 에이전트 지능을 가능하게 하는 운영 기반으로 재정립하는 '에이전트 하네스로서의 코드'라는 개념적 프레임워크를 제시한다.

이 논문은 코드가 에이전트의 최종 산출물일 뿐 아니라 추론과 행동, 환경 모델링, 실행 검증을 떠받치는 운영 기반이 되고 있다는 흐름을 정리한 조사 연구다. 첫 번째 층은 코드가 에이전트의 추론과 행동 및 환경을 연결하는 하네스 인터페이스를 다룬다. 두 번째 층은 장기 실행을 위한 계획과 기억, 도구 사용, 피드백 기반 제어와 최적화 방법을 살핀다. 세 번째 층은 공유 코드 산출물을 통한 여러 에이전트의 조율과 검토 및 검증으로 범위를 넓힌다. 최종 성공 여부를 넘는 평가, 불완전한 피드백에서의 검증, 성능 퇴행 없는 개선, 공유 상태의 일관성, 위험한 행동에 대한 사람의 감독이 남은 핵심 과제로 제시된다.

핵심 요약

• 의미론적 검증의 경우, 코드는 테스트를 통해 구문과 기본적 정확성을 검증하기는 쉽지만, 그 코드가 사용자의 상위 수준 의도를 실제로 충족하는지 검증하기는 여전히 어렵다.
• 트랜잭션형 상태 관리는 멀티 에이전트 시스템이 '병합 충돌'이나 일관성 없는 상태를 초래하지 않으면서 공유 코드베이스에 대한 복잡하고 동시적인 편집을 처리할 수 있도록 보장한다.
• 인간의 감독은 자동화된 루프를 깨뜨리지 않으면서 인간이 에이전트의 내부 코드 산출물을 점검하고 개입할 수 있는 인터페이스를 개발하는 것이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.