Adapting the Interface, Not the Model: Runtime Harness Adaptation for Deterministic LLM Agents

베이징대학교 연구진은 모델 파라미터를 수정하지 않고 런타임 인터페이스를 적응시켜 동결된 대형 언어 모델(LLM) 에이전트의 성능을 향상시키는 방법인 LIFE-HARNESS를 제안했다.

Life-Harness는 모델 가중치를 바꾸지 않고 대규모 언어 모델 에이전트와 환경 사이의 실행 인터페이스를 개선하는 방법이다. 학습 궤적에서 반복되는 실패를 찾아 환경 계약, 절차 스킬, 실행 가능한 행동 변환, 궤적 회복의 네 계층 개입으로 바꾸고 평가 때는 이를 고정한다. τ-bench와 τ²-bench 및 AgentBench의 일곱 결정적 환경에서 18개 모델 백본의 126개 조합 중 116개를 개선했으며 평균 상대 향상은 88.5%였다. Qwen3-4B-Instruct의 궤적으로 만든 하네스가 다른 17개 모델에도 전이되어, 모델 고유 습관보다 재사용 가능한 환경 규칙을 포착했음을 보여준다. 다만 도구와 평가 규칙이 안정적인 결정적 환경을 전제로 하므로, 목표와 도구 및 성공 기준이 작업마다 바뀌는 개방형 환경으로 일반화하기는 어렵다.

핵심 요약

• 행동 실현 실패(33.3%): 모델이 올바른 의도를 가지고 있으나 이를 실행 가능한 형식으로 표현하지 못하는 경우다. 인자 누락, 잘못된 구분자, 또는 구조화된 도구 호출 대신 자유 형식 텍스트를 생성하는 경우가 이에 해당한다.
• 환경 계약 불일치(23.2%): 모델이 구문적으로는 유효한 행동을 생성하지만 존재하지 않는 데이터베이스 컬럼에 접근하려 하거나 유효하지 않은 항공편 코드를 사용하는 등 도구나 API의 구체적 규칙을 위반하는 경우다.
• 궤적 퇴화(33.6%): 에이전트가 동일한 무효 행동을 반복하거나, 진전 없이 정체되거나, 피드백을 받았음에도 오류에서 회복하지 못하는 등 퇴화된 상태에 빠지는 경우다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.