SciAtlas: A Computable Atlas of Science for Knowledge-Grounded AI Research

이 논문은 AI scientist가 대개 workflow마다 따로 과학 지식을 모으던 문제를, 26개 분야 학술 기록을 하나의 schema로 묶은 knowledge graph와 그 위에서 relevance를 전파하는 공용 검색 방식으로 풀었다.

이 논문은 한마디로 OpenAlex 학술 기록으로 만든 대규모 knowledge graph SciAtlas와, 여러 연구 workflow가 함께 쓰는 neuro-symbolic(기호 일치와 embedding 검색을 함께 쓰는) 검색을 낸 시스템 논문이다. 입력을 graph의 seed node에 연결한 뒤 인용, keyword, 분야, 저자 관계를 따라 relevance를 전파하고, 그 결과에서 분야 발전 경로 정리, 연구 기회 발굴, 아이디어 혁신성 평가의 세 workflow에 필요한 논문과 저자를 뽑는다. SurveyLens, LiveIdeaBench, 저자들이 만든 SciAtlasEval에서 세 workflow는 비교한 baseline보다 높은 종합 성적을 냈다. 질의와 정답을 바로 잇는 edge를 가린 관계 복원 과제에서 상위 20개 결과의 nDCG(normalized discounted cumulative gain, 정답이 위에 있을수록 높은 순위 품질 점수)는 0.51로 가장 강한 baseline 0.18의 거의 세 배였다.

핵심 요약

• 문제: AI scientist 시스템은 대부분 workflow마다 따로 설계한 검색 절차로 과학 지식을 모으고, agent가 검색을 되풀이해 넓혀도 대개 그 task를 위해 잠시 모은 일시적인 문서 모음이 남는다. 저자들은 그래서 지식의 범위(breadth), 깊이(depth), 표준화(standardization)가 모자란다고 보았고, 기존 과학 knowledge graph도 흔히 특정 분야, 정보 대상, schema에 묶여 여러 연구 workflow가 함께 쓰기 어렵다고 밝혔다.
• 입력과 출력: 학술 knowledge graph, 공용 검색 방식, 연구 workflow 세 개를 함께 만든 시스템 논문이다. 주제, 연구 질문, seed 논문, 아이디어 같은 연구 대상을 받아 graph의 seed node에 연결하고, 순위를 매긴 논문 목록과 저자 목록을 낸다. 분야 발전 경로 정리(RDT, Research Development Trajectory)와 연구 기회 발굴(ROD, Research Opportunity Discovery)은 주로 논문 목록을, 혁신성 평가(IA, Innovation Assessment)는 저자 목록도 함께 받아, 각각 시기와 연구 흐름별 review outline과 section별 evidence pack, 동기와 메커니즘과 반증 가능한 가설과 단계별 실험 계획, reviewer별 평가와 meta-review와 수정 제안을 낸다.
• 방법: graph는 하나의 schema 아래 논문을 중심으로 인용과 출판 관계, 정규화한 keyword와 동시 출현 관계, topic에서 domain까지의 분야 계층, 저자와 기관과 공저 관계, 있는 경우에 한해 붙인 peer review와 평가 신호의 다섯 layer를 둔다. 검색은 LLM parser가 입력을 개념, 논문, 저자, topic 같은 typed query unit으로 나누고 이름과 식별자를 맞추는 symbolic index와 dense embedding의 근사 최근접 이웃 index로 seed node를 잡은 뒤, 정해진 hop 수만큼 펼친 query 중심 local graph에서 seed로 돌아가는 restart 항과 이웃 node에서 퍼지는 diffusion 항을 섞어 점수가 수렴하거나 최대 반복 횟수에 닿을 때까지 relevance를 전파한다. 그 위에서 RDT는 빠진 시기와 연구 흐름을 진단해 검색 round를 되풀이하고, ROD는 분야의 병목을 Research Structure Signature로 요약해 같은 분야와 다른 분야의 메커니즘을 찾으며, IA는 아이디어를 동기, 방법, 실험, 영향의 claim으로 나눠 claim별 근거, reviewer profile, rubric을 만든다.
• 구현: 주 자료원은 OpenAlex이고, normative layer는 자동 검색 agent가 공개 peer review 페이지를 찾아 논문에 붙여 채웠다. 완성한 graph는 26개 분야에 걸쳐 157M개가 넘는 entity를 3B개의 관계 triple로 잇고 그 가운데 논문이 43M편을 넘으며, 세 workflow와 기초 평가에서 설정할 수 있는 LLM 구성 요소는 GPT-5.5를 썼다. README 기준으로 GitHub 저장소에는 hosted SciAtlas API를 부르는 client와 CLI(명령줄 도구)를 pip(Python 패키지 설치 도구)로 설치하는 package, 문헌 리뷰, 아이디어 평가, 아이디어 생성 workflow 코드, Codex와 Claude Code 같은 coding agent용 Agent Skill pack이 있고, graph 검색은 개인 API token을 받아 hosted API로 쓴다.
• 결과: 사람이 쓴 survey 1,000편(10개 분야)으로 된 SurveyLens에서 SciAtlas를 쓴 RDT의 macro 평균 Rubric Score는 4.82로 가장 강한 baseline인 SurveyForge의 4.67보다 높았고, 22개 분야 keyword 1,180개로 된 LiveIdeaBench에서 ROD의 평균 점수는 7.38로 가장 강한 baseline인 AI-Scientist의 7.12보다 높았다. 아이디어 349개로 된 SciAtlasEval-Idea에서 LLM judge 세 개가 보고서를 쌍으로 비교한 IA의 평균 승률은 CoT(chain-of-thought prompting) 대비 99.6%, RAG(retrieval-augmented generation) 대비 96.6%, DeepReviewer 대비 74.5%, NoveltyAgent 대비 78.5%, ScholarEval 대비 68.2%였다. 질의와 정답을 바로 잇는 edge를 가린 SciAtlasEval-HQR(Heterogeneous Query-Object Retrieval) 사례 200개에서 nDCG@20(상위 20개 결과의 순위 품질)은 0.51로 가장 강한 baseline 0.18의 거의 세 배였고, TaxoBench 논문 검색 F1(precision과 recall의 조화 평균)은 32.8로 가장 강한 baseline의 21.8보다 높았다.
• 한계: 저자들은 graph를 자동 pipeline으로 만들지만 주기적으로 갱신해서 새 연구가 늦게 들어갈 수 있고, 범위가 원천 학술 기록에 달려 있으며, 전문성과 평가 신호의 양도 분야와 학회마다 다를 수 있다고 밝혔다. 이번 연구는 지식이 많이 드는 단계에 집중해 closed-loop 실험 검증은 범위 밖에 두었고, 실험 절차, 조건, 측정, 결과를 graph의 명시적 대상으로 넣는 일은 남은 과제여서 주장 범위는 과학 context 구성과 지식 기반 의사결정 지원이다. graph 규모 때문에 저장, index, 검색 인프라가 많이 들어 전파를 query 중심 local 이웃으로 제한했고, 평가 세트 SciAtlasEval은 저자들이 직접 만들었으며, ScholarQABench의 단일 논문 과제인 PubMedQA와 SciFact에서는 정답률 향상이 비교적 작았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.