Recoverability and Verifier Strength: Two Measured Preconditions for Unattended Agent Self-Improvement

사람 승인 없이 에이전트가 자기를 고치는 변경을 내보내려면 검증자 강도와 복구 가능성을 먼저 재야 한다는 규칙을 제안하고 플랫폼으로 시험한 논문이다.

이 논문은 한마디로 무인 자기 개선 변경이 안전하려면 검증자 강도와 복구 가능성 두 값을 재서 기준을 넘을 때만 사람 없이 배포하라는 규칙을 제안한 연구다. 저자는 두 값을 정의하고 측정하는 방법과 이를 강제하는 플랫폼을 만들었다. 플랫폼 자체 승인 문과 τ 2-bench 실험에서 규칙의 가정을 확인했다.

핵심 요약

• 저자는 검증자 강도와 복구 가능성 두 측정값을 정의하고, 둘 다 충분할 때만 변경을 사람 승인 없이 배포하는 규칙을 제안했다.
• 플랫폼의 LLM 심판관은 37가운데 9 설정에서 입력과 무관하게 같은 점수를 내며 오류 신호 없이 무너져 있었다.
• 저장해둔 복사본을 되돌리면 원래 행동이 그대로 되살아났지만, 다시 만든 되돌리기는 복원이 바닥보다 0.16 어긋났다.
• 배포된 변경은 소음 바닥보다 17% 더 많은 과제 결과를 바꿨고, 이 변화는 되돌려도 회복되지 않았다.
• 규칙을 적용한 플랫폼은 프롬프트·도구·스킬 편집은 무인으로 허용하고 가중치 갱신은 사람 서명 아래에 남겼다.
• τ 2-bench 에이전트 벤치마크에서 프롬프트 편집을 통제 실험으로 시험해 규칙의 가정을 뒷받침했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.