Autonomous Scientific Discovery via Iterative Meta-Reflection

이 논문은 연구 질문 없이 데이터만 받은 AI가 가설을 세우고 검증하는 open-ended 발견 문제를, 통계 검정을 통과한 가설만 주장으로 받아들이고 받아들인 주장과 기각된 주장을 주기적으로 함께 분석해 다음 탐색 방향을 정하는 REFLECT 단계로 풀었다.

이 논문은 한마디로 연구 질문 없이도 데이터에서 가설을 코드로 세워 통계로 검증하고, 쌓인 주장을 주기적으로 되짚어 다음 가설 방향을 바꾸는 LLM 발견 framework DiscoPER다. 가설마다 Python 검정 코드를 짜서 train 분할과 held-out 분할 모두에서 효과 크기와 유의성 기준을 넘을 때만 주장으로 받아들인다. 저자들은 iNaturalist 시민과학 관측으로 만든 새 benchmark iNatDisco-800에서 문헌으로 확인된 생태 패턴 9개 중 8개를 지지율(제안한 가설 가운데 held-out 검증을 통과한 비율) 72.7%로 다시 찾았다고 보고했다.

핵심 요약

• 문제: 기존 LLM 발견 시스템 대부분은 가설 생성 단계를 하나씩 따로 다뤄, 이미 찾은 결과 전체를 훑어보고 무엇이 아직 모르는 영역인지 추론하는 단계가 빠져 있다. 고전 구조 학습은 변수 쌍 사이의 연결(edge)만 표현할 수 있고, 전체 과정을 자동화한 AI scientist 시스템은 탐색을 이끌 초기 연구 목표나 seed 가설이 필요하다.
• 입력과 출력: 기본 설정에서는 연구 질문 없이 표 형태의 관측 데이터(이미지가 붙을 수 있다)만 받아, 자연어 진술과 검정 코드와 통계 근거가 붙은 검증된 발견 목록을 낸다. 이 논문은 방법 논문이며, 평가를 위해 iNaturalist 관측으로 benchmark iNatDisco도 새로 만들었다. iNatDisco-800은 8개 종의 관측 800건과 문헌 패턴 9개, iNatDisco-50K는 9,776개 종의 관측 50,000건과 패턴 12개로 이뤄진다.
• 방법: PROPOSE 단계의 LLM agent가 데이터 요약, 지금까지의 주장, 최근 guidance를 보고 가설과 이를 검정할 Python 코드를 낸다. EVALUATE 단계는 상관, 집단 차이, 예측, clustering, 층화 재검정, VLM(그림을 읽는 언어 모델) 시각 속성 검정을 포함한 통계 도구 7개로 train 분할에서 코드를 다듬고 held-out 분할에서 한 번만 실행하며, 두 분할 모두 효과 크기 0.2 이상, p값 0.05 이하일 때만 주장으로 받는다. REFLECT 단계는 받아들인 주장과 기각된 주장을 함께 분석해 빈 영역, 반복되는 confound, 복합 가설 후보를 guidance로 내며, 실험에서는 다섯 반복마다 실행했다.
• 구현: 본문은 기본 LLM을 Claude Sonnet 4.6으로 적었고 부록의 모델 비교와 baseline 설명은 Claude Sonnet 4.5로 적었으며, 이미지 판독에는 같은 base LLM을 VLM으로 쓰고 모델 비교의 DeepSeek V4 Pro 실행만 텍스트로 했다. 기본 설정은 실험마다 100번 반복을 세 번 실행해 평균과 표준편차를 내는 것이고, 반사실 실험은 50번 반복, 반복 수 scaling 실험은 10번에서 100번 반복이었다. 전체 실험에는 완료된 실행 약 86회, API 호출 약 8,250회, Sonnet 가격 기준 추정 비용 약 220달러, 약 72시간이 들었다.
• 결과: iNatDisco-800에서 DiscoPER는 문헌 패턴 9개 중 8개를 지지율 72.7%로 다시 찾았고, 같은 framework 안에 다시 구현한 HeurekaBench식과 ExperiGen식 baseline은 3개, LLM을 붙인 고전 인과 탐색은 최대 1개를 찾았다. iNatDisco-50K에서는 12개 중 8개를 지지율 74.2%로 찾았고, REFLECT를 뺀 버전은 6개였다. 알려진 생태 관계 다섯 가지를 표 데이터에서 뒤집은 반사실 데이터 iNatDisco-800-CF에서는 제안된 가설 대부분이 held-out 검증에서 기각됐고, 받아들여진 발견은 LLM 사전 지식 대신 수정된 데이터의 패턴을 따랐다.
• 한계: 저자들은 DiscoPER가 입력 데이터가 뒷받침하는 범위에서만 발견할 수 있고 시민과학 데이터에는 알려진 편향이 있어, 제안된 발견마다 사람의 검증이 꼭 필요하다고 밝혔다. iNatDisco 정답 목록 밖에도 타당한 패턴이 있을 수 있고, recall은 부분 일치(score 1) 이상을 발견으로 세는 LLM judge(Claude Sonnet 4.5)가 판정하며, 사람이 주 실험(iNatDisco-800, iNatDisco-50K)의 정확 일치(score 2) 판정을 모두 확인했을 때 95%가 맞았다. 합성 이미지 benchmark에서는 패턴 8개 중 3개를 찾았고, 저자들은 시각 특징의 통계 검증을 병목으로 지목했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.