ToolUniverse: An open platform for democratizing AI scientists

이 논문은 AI scientist가 대부분 맞춤 제작이라 다시 쓰기 어렵고 tool과 data를 다루는 표준 interface가 없는 문제를, 모든 tool이 같은 AI-tool interaction standard를 따르게 하고 tool의 검색, 실행, 조합, 생성, 설명 개선을 맡는 module을 둔 open platform ToolUniverse로 풀었다.

이 논문은 한마디로 어떤 LLM, reasoning model, agent에도 과학 tool 2,700개가 넘는 library와 research skill 130개가 넘는 workflow를 같은 형식으로 붙여 AI scientist를 만들게 하는 open platform ToolUniverse를 소개한 시스템 논문이다. 각 tool은 자연어 설명, 입출력 typed schema, backend와 무관한 호출 형식을 갖추고, Tool Manager, Tool Finder, Tool Caller, Tool Composer, Tool Discoverer, Tool Optimizer 여섯 module이 tool의 등록, 검색, 실행, 조합, 생성, 설명 개선을 맡는다. LAB-Bench의 DbQA(생물의학 database 질문)에서 ToolUniverse를 붙인 Claude Code agent는 정확도가 56.7에서 78.3으로, Codex agent는 81.1에서 92.8로 올랐다. 사례 연구로 암 표적 평가, 화학 전략, 임상시험 안전성 분석을 tool 조합으로 끝까지 수행했다.

핵심 요약

• 문제: AI scientist(과학 tool을 호출하고 dataset을 조회하며 복잡한 분석을 수행하는 LLM 기반 agent)는 빠르게 발전했지만 대부분 맞춤 제작이고, tool과 data를 다루는 표준 interface가 없어 다시 쓰기 어렵다. 과학 tool은 목적, 입력, parameter, 실행 환경이 제각각이고 local, API, 실험실 장비로 나뉘어 실행되며, 기능이 겹쳐 자연어 목표에 맞는 tool을 고르고 실행하기도 복잡하다.
• 입력과 출력: 사용자가 고른 LLM, reasoning model, agent가 자연어 요청을 받으면 Tool Finder로 관련 tool을 찾고 tool 이름과 인자를 담은 호출을 보내며, Tool Caller가 입력을 검증해 실행한 뒤 구조화된 결과나 고칠 수 있는 오류 메시지를 돌려준다. 접근 경로는 Python API, HTTP(웹 통신 protocol), MCP(Model Context Protocol), 직접 함수 호출이고, 추가 학습이나 fine-tuning 없이 AI scientist를 만든다. 논문 종류는 platform을 구현해 공개하고 benchmark와 사례 연구로 보인 시스템 논문이다.
• 방법: 모든 tool은 자연어 목적 설명, 모든 입출력의 이름과 type과 제약을 적은 schema, backend와 무관한 호출 형식을 갖춰, 같은 호출로 Python library, ML 모델, dataset endpoint, 실험실 장비를 실행한다. Tool Finder는 TF-IDF(낱말 빈도와 문서 희소성으로 매기는 점수) keyword 검색, LLM in-context 검색, fine-tuning한 GTE-Qwen2-1.5B embedding 검색을 쓰고, Tool Composer는 tool을 순차, 병렬, feedback 기반 workflow로 묶는다. Tool Discoverer는 자연어 설명에서 새 tool의 정의와 code를 만들어 배포용 설정에서는 품질 항목마다 10점 만점에 9점 이상이 되거나 반복 한도에 이를 때까지 고치고, Tool Optimizer는 test case 실행 결과에 맞춰 tool 설명을 다듬으며, 생성된 tool은 사람 검토를 거친 뒤 등록된다.
• 구현: 2026년 7월 7일 open-source 저장소 main branch를 세어 보면 고유 tool은 2,777개였고, 그 가운데 local과 remote dataset tool이 2,421개, 과학 package tool이 179개, ML 모델 tool이 89개였다. 원고가 다룬 version은 v1.3.1이고, pip install tooluniverse로 설치하며 Gemini CLI(command-line interface)나 Claude Code 같은 agent framework에서도 부를 수 있다. 공식 저장소 mims-harvard/ToolUniverse의 README는 MCP 설정, Claude Code plugin, Python SDK(software development kit) 설치 경로와 tool을 찾고 실행하는 tu CLI를 안내하고, 저장소 맨 위에는 src, skills, benchmarks, examples, tests 폴더가 있다.
• 결과: LAB-Bench의 DbQA(생물의학 database 질문 60개)와 SeqQA(염기와 단백질 서열 질문 70개)를 Biomni가 공개한 문항과 채점 방식 그대로 쓰고, 같은 agent와 base model에서 ToolUniverse tool 제공 여부만 바꿔 비교했다. Claude Opus 4.8을 쓴 Claude Code agent는 DbQA 정확도가 56.7에서 78.3으로, SeqQA가 94.3에서 99.5로 올랐고, GPT-5.5를 쓴 Codex agent(3회 실행 평균)는 81.1에서 92.8로, 91.4에서 96.2로 올랐다. 전용 생물의학 agent인 Biomni는 74.4와 81.9였고, ToolUniverse를 붙인 두 agent 모두 두 subtask에서 Biomni보다 높았다.
• 한계: 저자들은 ToolUniverse가 기존 tool을 조합하는 platform이라 결론이 그 밑에 있는 database와 모델의 한계에 묶이고, ADMET-AI(약물의 흡수, 분포, 대사, 배설, 독성 예측 모델) 점수 같은 ML 출력과 연관 근거는 실험으로 확인해야 할 추정치이며, 과학적 정확성의 판단은 loop 안에 남는 과학자가 맡는다고 밝혔다. 정량 평가는 LAB-Bench의 subtask 두 개에서 이뤄졌고, Claude 점수에는 base model이 안전 정책에 따라 거절한 문항을 오답으로 센 값이 들어 있다. 저자들은 임상시험 사례의 결과도 확정된 효과 대신 2차 분석에서 나온 재현 가능한 안전성 신호로 읽어야 한다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.