Learning Scientific Exploration from Human Research Decision Trajectories

논문에는 최종 결과가 주로 남고, 그 결과에 이른 연구 결정의 과정은 기록에서 빠진다는 문제를 다룬다. NeurIPS 논문과 GitHub 저장소 599쌍의 commit 기록을 LLM으로 읽어 연구 결정 13,271개를 정리하고, 이를 다음 결정 제안 실험에 썼다.

이 논문은 한마디로 연구자가 실제로 거친 결정의 순서를 공개 GitHub 저장소의 commit 기록에서 되살려 데이터셋(ResearchTrails)으로 만든 연구다. 저자들은 NeurIPS 2022년부터 2025년까지의 논문 약 15K편에서 출발해 논문과 저장소 599쌍, 연구 결정 13,271개를 얻었다. 평가는 모델이 낸 다음 결정이 실제 다음 결정과 얼마나 비슷한지를 LLM 판정자가 0점부터 4점으로 매기는 방식이다. 학습 궤적에서 뽑은 skill을 붙이면 Gemini 3.1 Flash Lite 점수가 기본보다 평균 0.290 올랐고, Qwen3-8B의 GPT-5.6 Sol 판정 점수는 SFT와 Dr. GRPO를 거쳐 1.025에서 1.505로 올랐다. 이 점수는 실제 결정과의 유사도이며, 결정의 효과를 재는 방법은 저자들도 열린 질문으로 둔다.

핵심 요약

• 문제 정의: 과학 탐구는 연구 결정과 행동이 이어지는 과정인데, 논문에는 주로 최종 결과가 남아 버린 아이디어, 빠진 실험, 결과를 만든 ablation이 기록에서 사라진다. 합성 환경에서 만든 궤적은 실제 연구자의 결정 방식과 다를 수 있어, 저자들은 공개 GitHub 저장소의 commit 기록을 탐구 과정의 대리 지표로 쓴다.
• commit의 한계: 일상적인 commit 기록에는 구현 수정, 학습 설정 변경, 데이터셋 교체 같은 낮은 수준의 작업이 섞이고, 결정 하나가 여러 commit에 걸치거나 commit 하나에 여러 결정이 담긴다. 599쌍의 commit 평가 117,852건 중 56.6%가 연구 결정과 무관했고, 처리한 논문 약 15K편 중 결정 궤적을 얻은 비율은 약 4%였다.
• 추출 과정: arXiv PDF 본문에서 GitHub 링크를 모은 뒤, README에 논문 제목 전체가 있고 출판 전 commit이 5개 이상이며 첫 commit부터 출판까지 30일 이상인 저장소만 남긴다. GPT-5.6 Sol이 commit을 시간 순서로 읽어 결정을 적고, 인용한 diff 조각이 저장된 patch 안에 글자 그대로 있을 때만 근거로 인정한다. 검증된 결정이 5개 미만인 저장소는 뺀다.
• 데이터 구성: 논문과 저장소 599쌍에서 결정 13,271개를 얻었다. 실험 51%, 방법 39%, ablation 9%이고, 결과는 유지 76.3%, 포기 11.5%, 대체 12.1%다. 궤적당 결정 수는 5개부터 205개, 중앙값 15개이며, 결정 하나에 평균 7.5개의 근거 인용이 붙는다.
• 평가 방법: 결정의 효과를 재는 법은 열린 질문이라, 따로 둔 실제 연구 궤적을 사용자 시뮬레이션으로 삼아 모델이 낸 다음 결정이 실제 결정과 전략적으로 비슷한지 LLM 판정자(GPT-5.6 Sol과 Opus 5)가 본다. 점수는 구성 요소 일치와 작업 일치를 각각 0점부터 2점으로 매겨 더한 0점부터 4점이다. 고정한 기본 예측 100개를 반복해 매긴 Fleiss' Kappa는 0.691부터 0.831이었다.
• 테스트 시점: Gemini 3.1 Flash Lite가 평가 저장소 134개의 앞선 결정 1개부터 3개로 다음 결정을 낸다. 평균으로 retrieval(학습 궤적 19개 중 관련 2개)은 무작위 2개보다 0.196, 전체 19개보다 0.101 높았다. Opus 5가 뽑은 skill은 retrieval보다 0.181, 최종 논문 skill보다 0.286, 기본보다 0.290 높았고, 순서를 섞은 궤적의 skill보다 늘 높았다.
• 학습: Qwen3-8B를 궤적 125개에서 만든 예시 375개로 SFT한 뒤 Dr. GRPO로 강화학습했다. SFT에서 test perplexity는 계속 내려갔지만 판정 점수는 3 epoch에서 가장 높아, 생성 품질을 보상으로 직접 최적화했다. GPT-5.6 Sol 점수는 기본 1.025, SFT(3 epoch) 1.199, GRPO(7 epoch) 1.505였고, Opus 5는 1.219, 1.333, 1.674였다.
• 남은 한계: 궤적은 공개 저장소 기록을 LLM이 다시 구성한 결과이고, 프로젝트 블로그는 이 궤적이 원 논문 저자의 확인 없이 공개 저장소에서 관찰한 기록이라고 밝힌다. 점수는 실제 결정과의 유사도다. 실험은 AI 학회 논문의 Git 저장소 안에서 이루어졌고, 생물학과 물리학 같은 다른 분야와 Git 밖 플랫폼은 앞으로의 과제로 남는다. 데이터, 코드, 학습한 adapter는 공개되어 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.