LLM-as-a-Verifier: A General-Purpose Verification Framework

LLM을 검증자(verifier)로 사용할 때 scoring token logit의 기댓값을 활용해 연속 점수를 생성하는 범용 검증 프레임워크를 제안한다. 4개 도메인에서 SOTA를 달성했다.

LLM-as-a-Verifier는 discrete 점수 대신 scoring token logit 분포의 기댓값으로 연속 점수를 계산하여 복잡한 솔루션 간의 동점을 획기적으로 줄인다. 점수 세분성, 반복 평가, 기준 분해의 3개 스케일링 축을 제안하며, 비용 효율적 순위 알고리즘으로 최적 후보를 선택한다. Terminal-Bench V2 86.5%, SWE-Bench Verified 78.2% 등 4개 벤치마크 SOTA를 달성하고, RL 보상 신호로도 효과적임을 입증했다.

핵심 요약

• scoring token logit의 확률 분포 기댓값으로 연속 점수 계산, 동점률 획기적 감소
• 3개 검증 스케일링 축: 점수 세분성(g), 반복 평가(k), 기준 분해(c) 각각 정확도 향상
• Terminal-Bench V2 86.5%, SWE-Bench Verified 78.2%, RoboRewardBench 87.4%, MedAgentBench 73.3% SOTA
• 세분된 검증 점수가 작업 진행도 추정과 연속적 RL 보상 신호로도 활용 가능
• LIBERO에서 SAC 보상 shaping 시 약 1.8배, MATH GRPO에서 약 1.1배 샘플 효율성 향상

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.