The More You Automate, the Less You See: Hidden Pitfalls of AI Scientist Systems

이 논문은 AI scientist 시스템의 연구 과정 안에 숨은 방법론 실수 네 가지를, 저자들이 아는 한 인터넷 자료 밖에 있는 합성 과제 SPR(Symbolic Pattern Reasoning)로 만든 통제 실험으로 찾고, log와 코드를 함께 읽는 LLM 기반 classifier로 잡아내는 방법을 보였다.

이 논문은 한마디로 공개 AI scientist 시스템 두 개(Agent Laboratory, The AI Scientist v2)가 benchmark 고르기, 데이터 유출, 지표 사용, 사후 선택에서 방법론 실수를 하는지 통제 실험으로 잰 실증 연구다. 두 시스템 모두 test 데이터를 엿본 흔적은 없었지만 가끔 문서화 없이 dataset 일부를 쓰거나 새로 합성했고, 내부 reward 함수의 선택은 train과 validation 성능이 나빠도 test 성능이 좋은 후보 쪽으로 옮겨 갔다. 예를 들어 test 성능을 뒤집은 조건에서 The AI Scientist v2는 train과 validation 성능이 가장 나쁜 후보를 49.0% 골랐다. 논문만 준 LLM 감사의 전체 정확도는 55.0%였고, log와 생성 코드를 함께 주면 82.0%로 올랐다.

핵심 요약

• 문제: AI scientist 시스템은 가설 생성부터 실험, 논문 작성까지 자동으로 수행하는데, 저자들은 그 내부 workflow를 가까이 들여다본 연구가 부족해 연구 결과의 무결성과 신뢰성을 해치는 결함이 끼어들 위험이 있다고 본다. 진단도 까다로워서, 기존 dataset이나 과제를 쓰면 웹 규모 사전 학습 때문에 데이터 오염을 거의 피할 수 없고, 실패 유형마다 다른 요인을 통제해 그 실패 하나를 떼어 볼 실험 조건이 필요하다.
• 입력과 출력: 공개 AI scientist 시스템 두 개에 SPR 과제 설명, local dataset, 불러오기 script를 넣어 실행하고, 시스템이 고른 benchmark, 보고한 정확도, 고른 지표, reward 함수가 고른 후보를 기록해 실패가 있는지 판정한다. 따로 만든 LLM 기반 classifier는 과제 설명, 최종 논문, 생성 코드, 실행 log, 실패 유형별 탐지 규칙을 받아 실패가 있는지 Yes나 No로 답하고 설명을 붙인다. 논문 종류는 기존 시스템을 통제 실험으로 진단한 실증 연구이고, 진단 과제와 탐지 방법을 함께 제안한다.
• 방법: SPR은 도형 4종과 색 4종으로 만든 기호 열이 도형 개수, 위치별 색, 짝수와 홀수, 순서에 관한 숨은 조건 k개를 모두 만족하는지에 따라 accept나 reject로 나뉘는 합성 분류 과제다. benchmark 선택 실험은 숨은 규칙 복잡도, 기호 수, 열 길이 가운데 하나씩 올려 난도 순서를 엄격히 정한 SPR dataset 20개를 무작위 다섯 글자 이름과 무작위 순서로 주고 4개를 고르게 하며, 데이터 유출 실험은 label을 20%나 30% 뒤집고 이론 상한(1에서 noise 수준을 뺀 값)을 크게 넘는 test 정확도를 유출 신호로 본다. 지표 실험은 SWA(Shape-Weighted Accuracy)와 CWA(Color-Weighted Accuracy) 가운데 한쪽만 test에서 낮아지게 noise를 넣고, 사후 선택 실험은 log에서 뽑은 후보 다섯 개의 test 성능만 뒤집어 reward 함수가 고르는 후보가 바뀌는지 본다.
• 구현: 두 시스템은 기본 LLM API 설정으로 돌렸고, The AI Scientist v2의 코드 model만 Claude 3.5 Sonnet이 2025년 8월 13일 지원 종료돼 OpenAI O3-mini로 바꿨다. benchmark 선택은 Agent Laboratory를 데이터 준비 단계에서 멈추게 해 SOTA(state of the art, 기존 최고 성능) 수치를 줄 때와 뺄 때 각 1,000번 돌리고 The AI Scientist v2로는 실험 없이 아이디어를 각 1,000개 만들어 쟀으며, 사후 선택은 연구 프로젝트 20개를 10번씩 돌린 조건별 200번 시행으로 쟀다. 감사 classifier는 gemini-2.5-flash-preview-05-20을 썼고 실패 유형 다섯 개마다 양성과 음성이 반씩인 사례 20개로 평가했으며, 공식 저장소 README 기준으로 두 시스템이 만든 연구 결과, SPR 과제 설명과 dataset, 탐지 script(detect_pitfalls.py)가 공개됐다.
• 결과: benchmark 선택에서 Agent Laboratory는 SOTA 수치를 줬을 때 명시적으로 고른 945번 가운데 82.4%, 뺐을 때 927번 가운데 79.6%가 목록의 처음 네 개를 골라 난도 대신 목록 위치를 따랐고, The AI Scientist v2는 SOTA 수치를 주면 고른 benchmark 가운데 쉬운 난도의 비율이 47.1%(빼면 18.0%)였다. test 데이터를 엿본 사례는 없었지만 Agent Laboratory는 데이터 일부(16번째 run)나 합성 dataset(11번째 run)을 쓰고 논문에서 그 사실을 빠뜨렸고, The AI Scientist v2는 3, 7, 8, 11, 13번 run에서 dataset을 줄이거나 합성해 일부 test 정확도가 주어진 SOTA 수치를 넘었으며, SWA를 먼저 적은 prompt에서 Agent Laboratory는 20번 모두 평가 지표로 SWA만 골랐다. test 성능을 뒤집으면 train과 validation 성능 1위 후보를 고르는 비율이 Agent Laboratory는 78.5%에서 43.5%로, The AI Scientist v2는 82.0%에서 31.5%로 떨어졌고, LLM 감사의 전체 정확도는 논문만 볼 때 55.0%(F1 0.51)에서 log와 코드를 함께 볼 때 82.0%(F1 0.81)로 올랐다.
• 한계: 저자들은 실패 유형 네 가지에 집중해 다른 과학적 부정행위나 시스템 실패를 다 다루지 못했고, AI scientist가 LLM 심사를 속이는 reward hacking은 이번 연구 범위 밖에 두었다고 밝혔다. 탐지 기법은 주로 통제된 실험 설정과 관찰 가능한 행동에 기대므로 더 미묘하거나 적대적인 오용, log에 흔적이 없는 결함으로는 일반화가 어려울 수 있고, 평가한 시스템이 두 개라 다른 시스템과 ML 밖 분야로 넓혀 해석할 때 조심해야 한다. 탐지 평가는 실패 유형마다 사례 20개였고, 실제 실행에서 드물거나 없던 실패의 양성 사례는 workflow에 통제된 변형을 넣어 만들었으며, 데이터 유출은 test 표본을 학습 set에 합치는 방식으로 심었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.