Who Verifies the Verifier? Co-Evolving Inspectable Graders with Self-Improving Agents

이 논문은 자기 개선 에이전트를 채점하는 검증기를 작은 결함 검사기 조합으로 진화시키고, 그 검증기를 무엇으로 확인할지 정한 연구다.

이 논문은 한마디로 에이전트를 채점하는 검증기(verifier) 자체를 진화시키는 방법이다. 검증기는 정적 검사, 실행 검사, 좁은 LLM 질문으로 된 작은 결함 검사기들을 묶은 읽을 수 있는 식이고, 정답이 붙은 예시 10개와의 일치도로만 고른다. MBPP+에서 진화한 검증기는 보류 평가 일치도가 사람이 짠 처음 조합의 0.417에서 0.625로 올랐고, 이 검증기로 함께 돌린 스킬 학습 루프는 정답 채점을 쓴 루프가 얻은 향상의 88~110%를 지켰다. 기준 예시를 지키는 장치를 끄면 검증기가 거의 모든 답을 통과시키는 빈 채점기로 무너지는데도 과제 점수는 그대로였기 때문에, 저자는 검증기를 확인하려면 검증기가 한 번도 읽지 않은 별도 기준 세트가 필요하다고 결론 내렸다.

핵심 요약

• 검증기를 정적 검사, 실행 검사, 좁은 LLM 질문으로 된 작은 결함 검사기의 조합식으로 만들고, 실패 사례를 묶어 새 검사기를 만들고 쓸모없는 검사기는 빼는 방식으로 진화시켰다.
• MBPP+에서 진화한 검증기의 보류 평가 일치도는 사람이 짠 처음 조합의 0.417에서 0.625로 올랐고, 그 안에 든 단순 LLM 판정기(0.55)보다도 높았다.
• 기준 예시를 지키는 두 장치를 끄자 검증기는 채점한 답의 0.97~1.00을 통과시키는 빈 채점기로 무너졌는데, 이 검증기로 학습한 스킬의 과제 점수는 정상 검증기와 비슷하게 나왔다.
• 검증기와 스킬 루프를 함께 돌린 Double Ratchet은 정답 채점을 쓴 같은 루프가 얻은 향상의 106%(MBPP+), 110%(Spider 2.0), 88%(보고서 생성)를 지켰다.
• 보고서 생성 과제에서 스킬이 채점 기준의 빈틈을 이용해 숫자 대신 태그만 쓰자 외부 판정 모델이 이를 잡았고, 검사기 하나를 더해 값 없는 태그를 약 30%에서 약 1%로 줄였다.
• MBPP+의 향상은 시드 3개 모두 같은 방향이었지만 과제 단위 검정의 p 값은 0.12에 머물렀고, 실험 범위는 과제 3종과 Claude 모델 한 계열이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.