Paper2Agent: Reimagining Research Papers As Interactive and Reliable AI Agents

이 논문은 논문이 제시한 새 계산 방법을 새 데이터에 적용하려면 흔히 코드 설치와 환경 설정 같은 기술 장벽부터 넘어야 하는 문제를, 논문과 코드 저장소를 테스트로 검증한 MCP(Model Context Protocol) server로 바꿔 chat agent에 연결하는 multi-agent 시스템으로 풀었다.

이 논문은 한마디로 연구 논문과 코드 저장소를 자연어로 다루는 paper agent로 바꾸는 Paper2Agent 시스템이다. Claude Code 위의 orchestrator agent가 환경 설정, tutorial 탐색, tool 추출과 구현, 테스트 검증을 맡은 sub-agent를 필요할 때 불러 tool, resource, prompt를 담은 MCP server를 만든다. TISSUE(불확실성을 고려한 단일세포 공간 전사체 분석 방법)와 Scanpy agent는 사람이 같은 데이터로 직접 돌린 결과와 같은 출력을 냈고, AlphaGenome agent는 tutorial 질문과 새 질문 각 15개를 모두 맞혔다. AlphaGenome과 ADHD(주의력결핍 과잉행동장애) GWAS(전장 유전체 연관 분석) 데이터 MCP를 연결한 AI co-scientist는 AlphaGenome 계산으로 ADHD 위험의 원인 후보 splicing 변이 rs1626703을 꼽았다.

핵심 요약

• 문제: 논문이 제시한 새 계산 방법을 새 데이터에 적용하기까지 흔히 큰 기술 장벽이 남아, 독자가 코드 저장소를 찾고 dependency를 설치하고 환경을 맞추고 입력과 출력 형식을 해석해야 할 수 있다. 저자들은 AlphaGenome처럼 강력한 도구도 API key, client 객체, variant 객체를 다루는 기술 장벽 때문에 생물학자가 사용하기 어렵다고 보았다. executable paper는 재현성을 높였어도 기술 숙련을 요구했고, Papers with Code는 논문과 코드를 찾기 쉽게 했어도 코드를 설치하고 실행하는 장벽이 남았다고 적었다.
• 입력과 출력: 이 논문은 구현된 multi-agent 시스템을 제안하고 사례 연구로 보인 논문이다. 입력은 논문과 코드 저장소 link, 보충 자료와 데이터이고, 출력은 tool, resource(원고, 코드, 데이터), prompt(여러 단계 workflow 지시)를 담은 MCP server Python 파일과 설정된 실행 환경이다. 이 server를 Claude Code 같은 chat agent에 연결하면 자연어 질문으로 논문의 방법을 실행하는 paper agent가 된다.
• 방법: Claude Code 위의 orchestrator agent가 sub-agent 네 개, 곧 Environment-manager(격리된 실행 환경 구성), Tutorial-scanner(저장소의 tutorial 탐색), Tutorial-tool-extractor-implementor(tutorial을 재사용 가능한 tool 함수로 구현), Test-verifier-improver(테스트를 만들고 실행해 고침)를 단계에 따라 필요할 때 부른다. Test-verifier-improver는 tutorial의 예제만으로 원래 수치와 그림이 다시 나오는지 테스트를 만들고 실행하고 고치는 loop를 반복하고, 계속 실패한 함수는 MCP decorator를 떼어 server에서 뺀다. 검증한 tool은 고정해 재현성을 지키고, tool마다 원본 GitHub 코드로 가는 link를 남긴다.
• 구현: AlphaGenome MCP tool 22개는 개인 노트북에서 사람 개입 없이 약 3시간 만에 만들어졌고, TISSUE용 tool은 6개, Scanpy 전처리와 군집용 tool은 개인 노트북에서 약 45분 동안 7개가 만들어졌다. AlphaGenome benchmark의 세 agent는 모두 claude-sonnet-4-20250514를 LLM으로 사용해 MacBook Air(M2)에서 실행했고, AlphaGenome, Scanpy, TISSUE MCP server는 Hugging Face Spaces에 올렸다. GitHub README는 저장소의 skills/paper2agent 폴더를 Claude Code나 Codex에 skill로 설치해 사용하는 방법과 Hugging Face Spaces에 올린 MCP server에 연결하는 방법을 설명하고, 이 skill은 전문 agent를 병렬로 띄우고 새 verifier agent로 검증한 뒤 사용 안내 파일이 든 압축(ZIP) 파일을 내준다고 적었다.
• 결과: AlphaGenome tutorial 질문 15개에서 AlphaGenome agent의 정확도는 100.0%로 Claude + Repo(저장소를 받은 Claude Code)의 60.0%와 Biomni의 40.0%보다 높았고, 새로 만든 질문 15개에서도 100.0%로 Claude + Repo 80.0%, Biomni 60.0%를 앞섰다. TISSUE agent의 출력은 생쥐 체성감각 피질 공간 전사체 데이터에서, Scanpy agent의 전처리와 군집 결과는 10x Genomics PBMC(말초혈액 단핵세포) 데이터 세 개에서 사람이 같은 데이터로 직접 돌린 결과와 같았다. AlphaGenome과 ADHD GWAS 데이터 MCP를 연결한 AI co-scientist는 사용자가 고른 가설을 실행해 후보 변이 209개에서 rs1626703을 골라 glutamatergic neuron의 MPHOSPH9(M-phase phosphoprotein 9) 유전자 splicing 변화를 예측했고, 이어서 39개 locus 전체 분석을 두 시간 안에 마쳤다.
• 한계: 저자들은 원래 코드가 불완전하거나 문서가 부족하거나 오류가 남아 있으면 Paper2Agent가 그 코드를 제대로 동작하는 tool로 안정적으로 내보내기 어렵다고 밝혔다. 정확도 benchmark는 전문가의 논문 지식과 수작업 정답 구현, 수작업 채점에 기대며, 지금까지의 대상은 방법 논문 위주다. ADHD 결과는 AlphaGenome으로 계산한 예측이며, 저자들은 이 가설들에 사람의 후속 평가가 도움이 된다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.