Making AI Scientists Auditable from Evidence to Claim

이 논문은 AI scientist가 낸 결론이 실제로 실행한 구현과 실험에 맞는지 거슬러 확인하기 어려운 문제를, 출처와 설계 변경과 검증 기록을 남기는 연구 harness Xcientist로 풀었다.

이 논문은 한마디로 AI scientist의 claim을 출처, 구현, 실험 기록까지 거슬러 확인할 수 있게 만든 연구 harness Xcientist의 기술 보고서다. 저자들은 받아들인 claim과 그 근거 사이에 풀리지 않은 불일치를 claim drift로 정의하고, 근거에서 아이디어로, 아이디어에서 구현으로, 실험에서 claim으로 가는 세 관계마다 audit CDR(claim drift rate, 어긋났거나 확인할 수 없는 claim의 비율)을 쟀다. agent memory, 교통 예측, PINN(physics-informed neural network, 물리 방정식을 손실에 넣은 신경망) 세 과제에서 Xcientist의 CDR은 3.6%에서 16.7% 사이로, 아홉 비교 모두에서 세 비교 시스템보다 낮았다. 저자들은 차이의 대부분이 확인할 수 없는 기록이 적은 데서 왔다고 밝혔다.

핵심 요약

• 문제: AI scientist가 단계를 거치며 제안을 고치거나 코드를 바꾸면, 최종 결론이 실제로 실행한 구현과 맞는지 따라가기 어려워진다. 저자들이 진단 사례로 본 AI-Scientist-v2 실행 3건의 기록에는 plug-in으로 제안한 방법이 대체 모델로 구현된 경우, 직접 시험하지 않은 component 역할, 출처 링크가 사라진 설계 변경이 있었다.
• 입력과 출력: 연구 주제를 받아 문헌 survey, component 목록을 담은 아이디어, project/ 폴더의 실행 코드, 표준 실험과 ablation 결과, 그림이 든 기술 보고서를 낸다. 세 사례 연구는 모두 기존 방법을 출발점으로 삼았다. 이 논문은 시스템과 구현, audit 기록을 설명하는 시스템 기술 보고서다.
• 방법: 논문 전문에서 문제, component, 한계, baseline, dataset을 뽑아 만든 evidence graph를 아이디어 생성과 실험 계획이 함께 조회한다. 아이디어는 component를 더하고 빼고 바꾸는 편집을 MCTS(Monte Carlo Tree Search, 후보를 넓혀 가며 점수로 고르는 탐색)로 찾고, 여러 성향의 후보를 host 아이디어 하나를 중심으로 합친다. 실험은 단계별 validation contract를 worker가 실행하고 validator가 산출물을 검사하며, component마다 ablation 단계가 하나씩 있어야 수렴으로 인정한다.
• 구현: evidence graph는 Semantic Scholar에 색인된 컴퓨터 과학 논문 약 50K편을 MinerU로 파싱해 만들었고, 노드 385K개와 typed edge 1.15M개를 담는다. 시스템은 relational database, orchestration backend, 따로 띄운 frontend를 host 한 대에서 실행한다. 공식 저장소 README는 Survey, Idea, Experiment, Blog agent 네 개와 이들을 잇는 prototype pipeline을 공개했고, 논문 그래프 자료는 다음 단계에 공개한다고 적었다.
• 결과: 세 과제와 세 관계를 곱한 아홉 비교 모두에서 Xcientist의 audit CDR은 3.6%에서 16.7% 사이로, EvoScientist, InternAgent-1.5, AI-Scientist-v2보다 낮았다. 저자들은 이 차이의 대부분이 확인할 수 없는 claim이 적은 데서 나왔다고 밝혔다. 과제 결과로는 LoCoMo 부분집합의 overall F1(정답과의 일치도)이 0.306에서 0.391로 오르고 query당 평균 token 길이가 64.2% 줄었으며, PEMS-BAY 평균 MAE(mean absolute error, 평균 절대 오차)가 1.588에서 1.556으로 내려갔다.
• 한계: 저자들은 CDR 차이에 모듈마다 얼마나 기여했는지 가리려면 반복 실행에서 모듈을 통제한 비교가 필요하다고 밝혔고, 이번 audit는 시스템마다 내용이 다른 자기 claim을 사후에 비교한 결과다. memory 과제는 component를 하나씩 뺀 시험이 일부 component에만 있어, 성능 향상은 전체 시스템 단위로만 주장했다. PINN 과제의 2차원 열 문제에서는 최종 모델 오차 0.151이 MMPINN의 0.007과 Multiscale PINNs의 0.026보다 컸다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.