Sci-Reasoning: A Dataset Decoding AI Innovation Patterns

이 논문은 AI 연구자가 선행 연구를 어떻게 엮어 새 기여를 만드는지가 구조화된 데이터로 없던 문제를, 세 학회에서 Oral(구두 발표)이나 Spotlight(강조 발표)로 뽑힌 논문 3,819편의 핵심 선행 논문과 관계를 LLM으로 뽑고 애매한 경우를 사람이 검토한 dataset으로 풀었다.

이 논문은 한마디로 상위 AI 학회의 우수 논문마다 어떤 선행 논문을 어떤 방식으로 엮었는지를 구조화해 모은 dataset이다. GPT-5가 논문마다 핵심 선행 논문 5에서 10편과 그 역할, 관계 유형, synthesis narrative(선행 논문이 어떻게 엮여 기여가 됐는지 설명한 글)를 만들고, 자기 점수가 낮은 경우를 다른 모델로 교차 확인해 의견이 갈린 약 3%는 사람이 검토했다. 이 데이터에서 저자들은 15개 사고 패턴을 뽑았고, Gap-Driven Reframing(24.2%), Cross-Domain Synthesis(18.0%), Representation Shift(10.5%)가 전체의 52.7%를 차지했다. NeurIPS(머신러닝 학회) 2025 Oral 논문 77편에 선행 논문만 주고 실제 연구 방향을 맞히는 시험에서 네 모델 가운데 Gemini 2.5 Pro의 Hit@10(아이디어 10개 가운데 하나라도 실제 논문과 맞으면 성공)이 49.35%로 가장 높았다.

핵심 요약

• 문제: 연구자가 빈틈을 찾고 여러 선행 연구를 엮어 새 기여를 만드는 사고 과정은 구조화된 데이터 대신 주관적인 일화로 설명돼 왔다. citation network는 인용했다는 사실만 담아 인용의 성격(예: 넘어설 baseline인지, 확장할 개념인지, 함께 엮을 방법인지)은 빠지고, 기존 계보 추적은 대개 대표 선행 논문(progenitor) 하나만 찾거나 인용을 똑같이 다뤘다.
• 입력과 출력: 머신러닝 학회 NeurIPS, ICML(International Conference on Machine Learning), ICLR(International Conference on Learning Representations)의 2023년부터 2025년까지 Oral과 Spotlight 논문 3,819편(Oral 999편, Spotlight 2,820편)을 받아, 논문마다 핵심 선행 논문 5에서 10편, 선행 논문의 역할과 관계 유형, 200에서 400단어의 synthesis narrative, 사고 궤적을 구조화한 항목을 낸다. 논문마다 15개 사고 패턴 가운데 주 패턴과, 있으면 보조 패턴 label이 붙는다. 논문 종류는 dataset 논문이고, 같은 데이터로 한 패턴 분석과 LLM 아이디어 예측 평가를 함께 실었다.
• 방법: GPT-5가 논문 본문 전체를 한 번에 읽고 인용을 참고문헌과 연결해, 인용 주변 문맥(예: building upon, inspired by)과 절별 인용 횟수로 중요도를 매긴 뒤 기여 유형(예: 방법, 문제 정의, baseline)이 고루 섞이게 핵심 선행 논문을 고르고 narrative를 쓴다. prompt는 저자들이 잘 아는 분야의 논문 30편으로 다듬었고, GPT-5 자기 점수가 0.7 미만인 경우는 Claude Opus 4.5와 Gemini 3.0으로 교차 확인해 의견이 갈린 약 3%를 사람이 검토했다. 사고 패턴은 35편씩 10개 batch(350편)에서 LLM이 뽑은 원시 패턴 약 190개를 15개로 합친 뒤, 3,819편 전체를 5편씩 나눠 분류했다.
• 구현: 선행 논문 추출 모델은 ground-truth 선행 논문이 있는 Oral과 Spotlight 논문 77편으로 OpenAI 모델 4개를 비교해 골랐고, recall은 GPT-5 89.73%, GPT-5.2 87.47%, GPT-4.1 78.00%, GPT-5-mini 68.53%로 GPT-5가 가장 높았다. 아이디어 예측 평가는 NeurIPS 2025 Oral 논문 77편의 선행 논문 내용을 Exa AI(신경망 기반 논문 검색 엔진)로 가져와 LLM에게 아이디어 10개를 내게 하고, GPT-5.2 judge가 실제 논문과 같은 방향인지 판정한다. 공식 GitHub 저장소에는 README 기준으로 논문 수집, 선행 논문 추출, 패턴 분석, 아이디어 평가 네 단계의 Python 코드가 있고, dataset은 Hugging Face에 따로 공개됐다.
• 결과: 15개 패턴 가운데 Gap-Driven Reframing(924편, 24.2%), Cross-Domain Synthesis(687편, 18.0%), Representation Shift(401편, 10.5%) 세 가지가 전체의 52.7%를 차지했다. 본문과 부록은 패턴 조합으로 Gap-Driven Reframing과 Representation Shift가 318회, Cross-Domain Synthesis와 Representation Shift가 233회, Gap-Driven Reframing과 Cross-Domain Synthesis가 204회로 많았다고 보고했다. NeurIPS 2025 Oral 논문 77편에 선행 논문만 주고 실제 논문 방향을 맞히는 Hit@10은 Gemini 2.5 Pro 49.35%, Claude Opus 4 42.86%, GPT-5.2 38.89%, Claude Sonnet 4 29.87%였다.
• 한계: 저자들은 이 데이터가 다듬어진 논문에 쓰인 정당화의 논리를 담고 있어, 실패한 실험이나 버린 가설이 들어간 실제 발견 과정과는 다를 수 있다고 밝혔다. 데이터는 2023-2025년 세 학회의 Oral과 Spotlight 논문으로 한정돼 경험적 성과 쪽으로 치우칠 수 있고, 다른 학회, 학제 간 연구, 기호 AI 같은 분야와 benchmark, dataset, 기술 보고서, position, survey 논문은 빠졌다. 선행 논문, narrative, 패턴 label은 LLM이 만들었고 사람 검토는 모델 사이 의견이 갈린 약 3%에 집중됐다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.