Cheap to Draw, Expensive to Trust: Certifying Test-Time Scaling Curves

이 논문은 여러 답을 뽑아 좋은 걸 고르는 방식의 성능 곡선을 통계적으로 인증하는 데 드는 최소 비용을 계산하고, 저렴한 감사 방법을 만들었다.

이 논문은 한마디로 테스트 타임 스케일링(답을 여러 개 뽑아 검증자가 최고로 평가한 답을 쓰는 기법)의 성능 곡선을 믿을 만하게 만드는 통계 감사법이다. 모든 예산 지점을 동시에 덮는 신뢰구간이 아니면 곡선에서 예산을 골라 쓰는 실무가 보호되지 않는데, 기존 방식은 그 인증에 답 19만2천개가 필요했다. 저자들은 문항 간 분산이 비용의 대부분임을 보고, 문항 내 노이즈만 보는 최적 배당을 유도해 최소 비용을 이론적으로 정했다. 새 감사법은 185개 평가에서 기존 최저가 대비 0.53~0.74배 답으로 전 곡선을 인증했다.

핵심 요약

• 곡선의 모든 예산 지점을 한 번에 덮는 구간만이 '몇 개 뽑을지' 선택을 보호한다는 점을 짚고, 기존 고정 설계의 비용(100문항·64예산에 19.2만 답)을 산출했다.
• 예산 64에서 선택된 답 정확도 분산의 약 4분의 3이 문항 간 차이에서 나오므로, 모든 문항을 다시 방문하는 감사는 그 비용을 낼 필요가 없음을 보였다.
• 두 독립 추첨을 짝 지은 지수 부등식 기반 감사를 만들어 사전 파일럿 없이 최소 비용(상수 로그 인자까지)에 도달했다.
• 실제 MMLU-Pro 연구에서 79,133개 답으로 전 곡선을 인증했고, 사전에 맞춘 비용 법칙의 예측과 0.6% 이내로 일치했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.