TinyScientist: An Interactive, Extensible, and Controllable Framework for Building Research Agents

이 논문은 자동 연구 시스템이 지나치게 복잡한 agent framework를 자주 써서 쓰고 확장하기 어렵다는 문제를, 연구 과정을 Think, Code, Write, Review 네 단계로 나누고 표 기반 상호작용, MCP(Model Context Protocol, 여러 tool을 통일된 API로 연결하는 protocol) tool 연결, 비용과 안전 Checker를 붙인 framework로 풀었다.

이 논문은 한마디로 일반 텍스트로 쓴 연구 의도에서 아이디어, 실험 코드, 논문 PDF, 심사까지 만드는 연구 agent를 쉽게 짜고 고치게 한 framework다. Thinker, Coder, Writer, Reviewer 네 단계 위에 결과를 표로 보여 주는 Formatter, MCP로 tool을 붙이는 MCPClient, 비용과 안전을 검사하는 Checker를 얹었다. 같은 gpt-4o-mini를 쓴 비교에서 저자들은 Agent Laboratory보다 논문 품질이 낫거나 비슷하다고 보고했다. Python package와 web demo를 함께 공개했다.

핵심 요약

• 문제: 기존 자동 연구 시스템은 지나치게 복잡한 agent framework를 자주 설계해 쓰기 때문에, 상당한 기술 전문성 없이 쓰거나 확장하기 어렵다. 저자들은 그 원인으로 연구 의도가 복잡하고 소통 interface가 불분명해 사람이 agent의 연구 진행에 참여하기 어려운 상호작용 부족, 대표적인 기존 framework가 특정 tool에 묶인 설계라 새 tool을 붙이기 어려운 확장성 부족, 많은 시스템의 안전, 윤리, 비용 예산 감독이 약한 통제력 부족을 꼽는다.
• 입력과 출력: 이 논문은 연구 agent를 만드는 framework와 Python package, web demo를 낸 framework 논문이다. 입력과 출력은 ACL(Association for Computational Linguistics), ICLR(International Conference on Learning Representations) 같은 학회 형식 PDF, 구조화된 JSON, 일반 텍스트 가운데 무엇이든 될 수 있고, 대표 사용 예는 일반 텍스트로 쓴 연구 의도(intent)를 받아 완성된 학회 형식 논문 PDF를 내는 것이다. 이 과정에서 연구 아이디어, 실험 코드, peer review 결과도 함께 나온다.
• 방법: TinyScientist 기본 class가 Thinker, Coder, Writer, Reviewer 네 workflow 단계를 조율하고, 각 단계는 정해진 반복 한도까지 스스로 결과를 다듬는다. Thinker는 아이디어 n개를 만들어 k번씩 고치고, Coder는 Aider 같은 외부 coding agent로 실험 코드를 만들어 실행하고, Writer는 Semantic Scholar API로 인용을 넣고, Reviewer는 모의 심사와 meta-review를 쓴다. 여기에 결과를 표로 정리하는 Formatter, MCP로 tool을 붙이는 MCPClient, 비용과 안전을 검사하는 Checker가 붙는다.
• 구현: 공개한 Python package는 Algorithm 1의 코드 일곱 줄(think, code, write, review 호출)로 연구 아이디어, 실험 코드, 학회 형식 PDF, 심사 결과를 만들고, web UI(사용자 화면)는 설정, intent 입력, 아이디어 보기, 코드 보기, 논문 보기의 다섯 page로 되어 있다. README 기준으로 GitHub 저장소에는 core, tools, formatters module과 frontend, backend demo 코드가 있고, package는 PyPI(Python Package Index, Python package 공개 저장소)에 tiny-scientist라는 이름으로 올라 있다. README는 지금 think, code, write, review 단계가 기본으로 Claude Agent SDK(software development kit, 개발 도구 모음) 위에서 실행되고 OpenAI Agents SDK도 고를 수 있다고 적는다.
• 결과: 두 framework 모두 gpt-4o-mini를 backbone으로 쓴 비교에서, 저자들은 TinyScientist의 논문이 GPT-4o 채점과 사람 채점(5점 척도) 모두에서 Agent Laboratory보다 낫거나 비슷하다고 보고했고, 가장 큰 향상은 생물학 writing 품질의 0.23점이었다. ML 관련 과제에서 tool을 붙이면 GPT-4o 채점 writing 점수가 3.93에서 4.06으로, idea 점수가 3.78에서 3.82로 올랐다. 잠재적으로 위험한 생물학 과제 20개 가운데 18개를 Checker가 Thinker 단계에서 막았고, 나머지 2개에는 뒤 단계에서 경고를 붙였다.
• 한계: 저자들은 LaTeX 형식이 어긋나 컴파일이 가끔 실패하고, 그 결과 참고문헌이 빠지거나 줄이 어긋나는 문제가 생긴다고 밝혔다. 핵심 section에 넣는 diagram은 시각 품질과 정보량이 아직 부족하다. 평가는 ML 과제와 분포 밖(out-of-distribution) 생물학 과제 20개씩으로 했고, 생물학 과제에서는 두 framework 모두 점수가 낮았는데 저자들은 prompt가 주로 ML 분야에 맞춰져 있는 탓으로 추정했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.