Scores Alone Do Not Prove Discovery: The Discovery Certification Protocol for Auditing AI Research Agents

이 논문은 AI research agent의 높은 점수만으로 발견 여부를 가리기 어려운 문제를, 같은 조건의 challenger가 그 점수를 재현하는지와 실제 feedback이 효과가 있는지를 등록된 감사로 판정하는 DCP(Discovery Certification Protocol)로 풀었다.

이 논문은 한마디로 AI research agent가 낸 결과가 발견인지 가리는 감사 protocol(DCP)이다. Gate 1은 비공개 평가 자료(sealed test)로 실제 개선을 확인하고, Gate 2는 run 기록과 새 측정값 없이 시작한 challenger agent들이 목표 점수에 허용 오차 안으로 도달하는지 시험하며, 두 Gate의 조건을 모두 채우면 Core 판정이 Pass가 된다. 선택 사항인 Gate 3은 실제 feedback과 중립 메시지의 효과를 짝 실험으로 비교해 Evidence 판정을 낸다. 실제 데이터 Yacht와 Ionosphere는 challenger 96회 가운데 목표 점수에 도달한 경우(recovery)가 0건이라 로컬 판정에서 Core를 통과했지만, Evidence는 Inconclusive였다.

핵심 요약

• 문제: AI research agent가 실험을 거쳐 높은 점수의 결과물을 보고해도, 점수만으로는 그것이 발견인지 판단하기 어렵다. sealed test는 결과물의 효용을 확인하지만, 같은 조건의 다른 agent가 초기 자료, 공개 정보, 자체 추론으로 같은 점수에 이를 수 있는지와 실제 실험 feedback이 그 점수에 도달할 확률을 높이는지는 별도의 측정 질문이다. 저자들은 한 결과에 대한 이 세 질문을 실행 가능한 감사(audit)로 바꾼다.
• 입력과 출력: 이 논문은 연구 결과 감사 protocol을 제안하고 통제된 task와 실제 데이터 task에서 시연한 framework 논문이다. 입력은 결과 주장(최종 결과물, 등록한 모델과 예산, 배경 지식과 시작 관측값, target run이 본 Web 내용, 유효성과 recovery 규칙)이고, 출력은 Core와 Evidence 두 판정을 각각 Pass, Refuted, Inconclusive, Not evaluated 가운데 하나로 적은 기록 bundle이다. 결정론적 verifier가 이 고정된 기록에서 판정을 offline으로 다시 계산한다.
• 방법: Gate 1은 sealed 평가에서 결과물이 baseline보다 미리 정한 최소 유용 개선폭(δmin) 이상 나은지 신뢰하한으로 확인한다. Gate 2는 run 기록과 새 측정값을 뺀 채 배경 지식, 시작 관측값, target run이 본 Web 내용을 받은 새 challenger agent를 등록한 횟수만큼 실행하고, 어떤 방법으로든 recovery line(목표 점수 x에서 허용 오차 ε을 뺀 threshold) 이상인 유효 결과가 나오면 Core를 기각하며, 0건이면 Clopper-Pearson 상한으로 recovery 확률의 상한을 낸다. 선택 사항인 Gate 3은 같은 checkpoint에서 실제 측정 feedback과 중립 메시지를 받은 짝 branch를 비교하고, 효과의 신뢰하한과 null-policy 동등성 검사를 통과해야 Evidence가 된다.
• 구현: 감사 대상 agent와 challenger는 등록된 CLI(command-line interface)로 실행한 DeepSeek 모델로, SQLite-Web은 deepseek-v4-flash, 가상 촉매는 deepseek-v4-pro, 실제 데이터 task는 deepseek-flash를 썼고, 실제 데이터 session에는 Read, Write, Edit, Glob, Grep tool을 열고 shell과 자체 Web tool은 막았다. Yacht와 Ionosphere 감사는 각각 challenger 96회, 파일 channel 통제 45회, feedback 짝 30개, null 짝 60개를 등록했다. 원문에 따르면 supplement에는 설치형 dcp-audit, task별 evidence producer, 재사용 harness인 dcp-harness, 실제 데이터 decision bundle 3개가 들어 있다.
• 결과: 실제 데이터인 Yacht와 Ionosphere는 결과 점수 0.7677과 0.6551로 Core를 통과했고, challenger 96회의 최고 점수 0.4641과 0.4171은 recovery line 0.7177과 0.6051 아래였으며 recovery 확률 상한은 0.0468이었다. 같은 checkpoint에서 실제 feedback을 받은 branch는 30번 중 9번과 16번 목표 수준에 도달했고 중립 branch는 0번이었지만, 두 task 모두 Evidence는 Inconclusive였다. 통제 사례에서는 SQLite-Web(traffic 가중 작업량 88.55% 감소)과 가상 촉매 제어(sealed 최적값 도달)가 Core와 Evidence를 모두 통과했고, 개발용 사례인 knapsack은 challenger가 recovery line을 넘는 결과 2개를 내 Core가 기각됐다.
• 한계: 저자들은 보고된 Pass가 모두 로컬에서 모으고 재생한 kernel 판정(formal_certificate_issued=false)이며, 정식 발급에는 독립 감사 기관의 검토와 서명이 필요하다고 밝혔다. recovery 상한은 등록한 모델, policy, 정보, 예산 분포에서 뽑은 새 episode 한 번에 대한 값이고, 예시로 든 recovery 확률 0.01에서는 96회 감사가 기존 경로를 찾을 확률이 0.6190이다. Dry Bean의 Core와 Evidence Pass는 Gate 2 채점 뒤 기록한 수정 policy로 다시 분석한 탐색적 결과다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.