Generating Literature-Driven Scientific Theories at Scale

이 논문은 자동 과학 발견이 실험 생성에 치우쳐 이론을 세우는 시스템이 드문 문제를, query마다 최대 100편의 논문에서 근거를 뽑아 법칙, 적용 범위, 근거를 갖춘 이론을 만드는 THEORIZER 시스템으로 풀었다.

이 논문은 한마디로 연구 문헌에서 정성 법칙과 정량 법칙으로 된 과학 이론을 대규모로 만드는 THEORIZER 시스템을 만들고, 문헌 근거를 쓰는 literature-supported 생성과 모델 내부 지식만 쓰는 parametric 생성, 정확성 중심과 참신성 중심 목표를 비교한 시스템 논문이다. 시스템은 theory query(어떤 주제의 이론을 만들지 적은 요청)로 논문을 찾고, query에 맞춘 schema로 논문마다 근거를 뽑은 뒤, 모은 근거로 이론을 만들고 self-reflection(모델이 자기 출력을 다시 검토하는 단계)으로 다듬는다. 저자들은 query 100개에서 논문 13,744편을 읽어 이론 2,856개를 만들었다. 2025년 7월부터 6개월 동안 나온 논문 4,554편으로 예측을 채점한 backtesting(정해진 시점까지의 지식으로 이론을 만들고 그 뒤에 나온 논문으로 예측을 채점하는 방식)에서, 참신성 중심 조건의 precision(지지나 반박 근거를 준 논문 가운데 지지한 비율)은 literature-supported가 0.61, parametric이 0.34였다.

핵심 요약

• 문제: 자동 과학 발견 연구는 실험을 만드는 agent에 집중했고, 많은 실험 결과를 일반화된 법칙으로 정리하는 이론 정립 같은 상위 과학 활동을 하는 시스템은 덜 연구됐다. 법칙을 찾는 기존 연구도 대개 연구 문헌보다 정형 데이터에서 정량 법칙이나 정성 법칙을 유도했다.
• 입력과 출력: 사용자가 쓴 theory query와 논문 corpus를 받아 이론 여러 개를 낸다. 이론마다 이름과 설명이 있고, 정성 관계나 수식으로 된 법칙(LAW), 법칙이 성립할 것으로 기대되는 조건(SCOPE), 대개 입력 corpus에서 가져온 실증 근거(EVIDENCE)를 tuple로 담는다. 논문 종류는 THEORIZER 시스템을 구현하고 생성 조건 네 가지를 실험으로 비교한 시스템 논문이다.
• 방법: theory query를 문헌 검색어로 바꿔 AI2(Allen Institute for Artificial Intelligence)의 PaperFinder로 최대 K편(실험에서는 100편)의 관련 논문을 찾고, Semantic Scholar로 찾은 open-access PDF를 OCR(이미지 글자 인식) 기반 pipeline으로 본문까지 뽑으며, 처음 검색에서 K편보다 적게 모이면 받은 논문 본문에 나온 참고문헌에서 관련 논문을 더 채운다. 다음으로 query에 맞춘 추출 schema를 만들고 값싼 추출 모델이 논문마다 schema를 채워 JSON 기록을 만들며, 생성 모델이 이 기록을 모아 이론을 만든 뒤 이론마다 self-reflection 단계로 내부 일관성, 근거 연결, 구체성을 다듬는다. 비교 조건은 이 근거를 쓰는 literature-supported 생성과 모델 내부 지식만 쓰는 parametric 생성을, 정확성 중심 목표와 참신성 중심 목표에 각각 짝지은 네 가지다.
• 구현: 생성 모델은 공개된 knowledge cutoff(학습 데이터 기준 시점)가 2024년 6월인 GPT-4.1이고, 논문별 근거 추출은 GPT-5-mini가 맡았으며, 평가 모델은 주로 Claude Sonnet 4.5였다. NLP(자연어 처리)와 AI 학회(ACL 2023, EMNLP 2023, AAAI 2023, NeurIPS 2024) 논문 50편을 무작위로 골라 편마다 일반 query와 구체 query를 하나씩 자동 생성한 100개 query에서 논문 13,744편을 읽어 이론 2,856개를 만들었으며, 평가는 이론 대신 법칙 단위로 했고 표 1의 LLM-as-a-judge 평가에 들어간 법칙은 조건마다 790개에서 1187개였다. README에 따르면 공식 GitHub 저장소 allenai/asta-theorizer의 src 폴더에는 웹 interface와 API 서버, 핵심 prompt, 네 가지 평가 script가 있고 example-theories 폴더에는 작은 toy 데이터와 논문에서 만든 이론 데이터가 있으며, literature-supported 이론을 만들려면 따로 설치하는 Asta PaperFinder 사본이 필요하다.
• 결과: Claude Sonnet 4.5가 법칙마다 1에서 10점을 매긴 표 1의 LLM-as-a-judge(LLM이 채점자 역할을 하는 평가)에서, 정확성 중심 조건의 literature-supported 법칙은 parametric 법칙보다 empirical support(기존 근거와 맞는 정도)가 3.9에서 5.8로, specificity(구체성)가 5.3에서 6.5로 높았고 novelty 점수는 둘 다 5.8이었다. 2025년 7월부터 6개월 동안 나온 논문 4,554편으로 법칙의 예측을 채점한 표 2의 backtesting에서, 정확성 중심 조건의 precision은 parametric 0.88, literature-supported 0.90으로 비슷하게 높았고 참신성 중심 조건에서는 0.34와 0.61이었다. 저자들은 literature-supported 방식이 단순 LLM 방식보다 7배 가까이 비싸다고 밝혔고, 표 4의 LLM API 비용 추정은 이론 하나에 literature-supported 0.26달러, parametric 0.04달러였다.
• 한계: backtesting은 recall이 낮아, 표 2에서 예측을 검증한 최근 논문이 하나라도 있는 법칙의 비율은 정확성 중심 조건에서 0.45에서 0.51, 참신성 중심 조건에서 parametric 0.04, literature-supported 0.16이었고, 저자들은 부정적 결과가 흔히 보고 없이 남는 문헌의 positive-result bias 때문에 반박 근거를 찾기가 더 어려울 수 있다고 밝혔다. 표 1의 LLM-as-a-judge 점수와 별도인 표 3의 qualified novelty(검색 논문 기준으로 한정한 참신성) 분석은 전체 문헌 대신 이론마다 검색된 평균 66에서 71편을 기준으로, 조건마다 무작위로 고른 법칙 100개에서 novelty 유형 일곱 가지의 비율을 쟀고, 이 분석에서 literature-supported 법칙은 대체로 parametric 법칙보다 덜 참신하게 평가됐다. 저자들은 현재 생성 범위가 AI와 NLP처럼 문헌이 주로 open access라 자동으로 내려받을 수 있는 분야에 한정되고, 생성과 특히 평가가 아직 다소 비싸 규모 확대를 제약한다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.