Intern-Atlas: A Methodological Evolution Graph as Research Infrastructure for AI Scientists

이 논문은 AI research agent가 비정형 논문 글에서 방법론 계보를 재구성하기 어려운 문제를, 논문 1,030,314편의 citation을 방법 간 관계로 분류하고 원문 인용을 근거로 붙인 방법론 진화 graph로 풀었다.

이 논문은 한마디로 AI 논문의 방법론 진화를 관계 type이 붙은 edge와 원문 근거로 담은 지식 graph Intern-Atlas와 그 위의 operator 세 가지를 제안한 연구다. LLM이 인용마다 관계 type을 붙이고 bottleneck과 mechanism 문장을 원문에서 그대로 옮기며, 코드 검사가 인용문과 출판 연도 순서를 확인한다. operator는 SGT-MCTS(Self-Guided Temporal Monte Carlo tree search, rollout을 되풀이해 tree에서 갈 branch를 고르는 탐색에 시간 순서를 더한 방법)로 방법 계보를 찾고, graph 통계로 아이디어를 채점하고, graph에서 덜 연구된 영역을 찾아 근거가 붙은 새 아이디어를 만든다. 저자들은 survey 기반 benchmark에서 계보 복원이 beam search보다 정확했고, 아이디어 점수가 학회 등급 순서와 전문가 평가에 부합했다고 보고했다.

핵심 요약

• 문제: Google Scholar, Semantic Scholar, OpenAlex 같은 학술 플랫폼은 논문을 기본 단위로 두고 citation으로 이으므로, 인용 하나가 방법의 확장인지, bottleneck 해결인지, 단순 배경인지 같은 방법론 관계는 텍스트 속에 남는다. 저자들은 사람은 이 계보를 머릿속에서 재구성하지만 AI research agent는 비정형 텍스트에서 방법 진화 구조를 안정적으로 재구성하기 어렵다고 본다.
• 입력과 출력: 방법론 진화 graph라는 dataset과, 그 위에서 작동하는 operator 세 가지를 함께 제안한 논문이다. 입력은 1965년부터 2025년까지의 AI 논문 1,030,314편이고, 출력은 method node 8,155개, alias 9,545개, typed edge 9,410,201개로 된 graph이며 background를 뺀 인과 edge마다 원문 인용 근거가 붙는다. operator는 방법 이름, 아이디어 설명, 연구 질문을 받아 각각 진화 chain, 다섯 항목 점수, 근거가 붙은 새 연구 제안을 낸다.
• 방법: LLM 분류기가 인용 주변 글을 읽고 각 citation edge에 extends, improves, replaces, adapts, uses_component, compares, background 일곱 type 가운데 하나를 붙이고, 앞의 네 type이 계보 탐색에 쓰는 strong-causal subgraph가 된다. 인과 edge마다 인용 논문에서 그대로 옮긴 bottleneck, mechanism, trade-off 문장과 confidence를 붙이고, 인용문이 substring 대조에 실패하거나 출판 연도 순서가 어긋난 edge는 코드 검사로 걸러 낸다. 계보 탐색은 UCT(점수가 높은 branch와 덜 가 본 branch를 함께 따지는 MCTS의 선택 규칙)에 edge confidence와 연도 차이 가중을 더한 SGT-MCTS로 하고, 아이디어 평가는 LLM 판단 대신 graph 통계로 다섯 항목 점수를 계산하며, 아이디어 생성은 모든 제안에 실제 edge의 bottleneck 인용을 증거로 붙이게 한다.
• 구현: PDF parser Nougat v1.0으로 문서를 읽고 Nougat이 실패한 3.7%의 문서는 PDF parser GROBID v0.8.0으로 처리하며, 추출은 인용 논문의 Introduction, Method, Related Work 절만 읽는다. 두 단계 추출 모두 Qwen3.6-35B-A3B를 temperature 0으로 쓰고, 신뢰도 benchmark에만 쓰는 audit 모델을 따로 둔다. 저자들은 graph와 pipeline을 open infrastructure로 공개한다고 밝혔다.
• 결과: 30편의 survey로 만든 benchmark(node 2,268개, edge 1,462개, chain 133개)에서 Intern-Atlas는 node 일치율 91.0%, edge 도달률 89.7%, 경로 의미 정확도 92.0%를 냈고, SGT-MCTS의 Node Recall은 84.8로 가장 강한 baseline인 Beam@10(폭 10의 beam search)의 44.9보다 높았다. 논문 1,200편의 아이디어 평균 점수는 top-tier 학회 8.48, core 학회 7.83, workshop 6.85, 탈락 논문 5.84 순이었고, 전문가 10명이 매긴 아이디어 100개에서 전체 Spearman 상관은 0.81로 순수 LLM 평가의 0.58보다 높았다. 연구 질문 100개로 만든 아이디어는 Overall 7.20점으로 네 baseline 가운데 가장 좋은 Semantic Scholar 기반(6.18)보다 1.02 point 높았고, 전문가 blind pairwise 평가에서 No-KB(외부 지식 없이 생성), OpenAlex, BM25 RAG(낱말 일치 검색 점수 BM25로 찾은 문헌을 근거로 생성하는 방식)를 상대로 승률 88.0%, 82.0%, 81.0%를 기록했다.
• 한계: 저자들은 1단계 edge type 분류 정확도가 production 모델에서 70.4%, audit 모델에서 93.0%라서 extends와 improves 같은 세밀한 관계는 구분이 어렵다고 밝혔다. bottleneck 분류 항목 14개는 공개 시점에 고정되고, temporal coherence 함수(출판 연도 차이에 주는 가중치)는 2015년 이후 AI 문헌에 맞춰져 연구 속도가 다른 분야에는 다시 맞춰야 하며, 생성한 아이디어의 점수는 같은 Intern-Atlas 평가 pipeline으로 매겼다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.