Accelerating scientific discovery with Co-Scientist

이 논문은 연구자가 실험으로 검증할 새 가설을 찾는 문제를, Gemini 기반 agent들이 가설을 만들고 토론하고 Elo(대결 승패로 매기는 상대 순위 점수) tournament로 순위를 매기며 다듬는 multi-agent 시스템으로 풀었다.

이 논문은 한마디로 Gemini 2.0 위에 agent 여섯 종류를 올려 연구 가설을 만들고 비판하고 개선하는 시스템 Co-Scientist의 설계와 검증 보고다. Supervisor agent가 연구 목표를 작업으로 나눠 비동기 task queue로 배정하고, Ranking agent의 Elo tournament 결과와 Meta-review agent의 피드백이 다음 반복의 prompt로 들어간다. 저자들은 203개 연구 목표에서 계산 시간을 더 쓸수록 가설의 Elo가 오르는 경향을 보였고, 급성 골수성 백혈병(AML) 약물 재창출 후보와 간 섬유화 표적을 실험실에서 확인했다. 전체 소스 코드는 비공개이며, 저자들은 pseudocode와 agent prompt 원문을 부록에 실었다.

핵심 요약

• 문제: 논문이 빠르게 늘면서 연구자가 한 분야의 깊은 전문 지식과 여러 분야를 잇는 넓은 지식을 함께 갖추기 어려워졌다. 기존 문헌 요약과 deep research tool은 이미 있는 정보를 정리하는 일을 맡으므로, 저자들은 실험으로 검증할 새 가설을 내는 시스템을 목표로 삼았다.
• 입력과 출력: 구현된 시스템 논문이다. 연구자가 자연어로 쓴 연구 목표(짧은 문장부터 수만 token 문서와 논문 PDF 수백 편까지)와 선호, 제약을 받고, 순위가 매겨진 가설과 실험 계획 목록, Meta-review agent가 정리한 research overview를 낸다. 연구자는 실행 중에 목표를 고치고 자기 가설과 리뷰를 tournament에 넣을 수 있다.
• 방법: Supervisor agent가 목표를 research plan configuration으로 바꾸고 task queue에서 Generation(가설 생성), Reflection(동료 심사처럼 리뷰), Ranking(순위 매기기), Proximity(비슷한 가설 clustering), Evolution(상위 가설 개선), Meta-review(리뷰 종합) agent를 비동기로 배정한다. Ranking agent는 새 가설을 Elo 1200에서 시작시켜 pairwise 대결로 tournament를 치르며, 상위 가설끼리는 여러 차례 주고받는 과학 토론으로, 하위 가설은 한 번의 비교로 우열을 가린다. Evolution agent가 만든 새 가설은 다시 경쟁하고, Meta-review agent는 리뷰와 토론에서 되풀이되는 문제를 모아 다음 반복의 prompt에 붙이므로 fine-tuning 없이 피드백이 전달된다.
• 구현: 모든 agent의 base model은 Gemini 2.0이고, web search, 공개 database, 연구자가 지정한 논문과 실험 자료 저장소, AlphaFold 같은 전용 모델을 tool로 사용한다. 전체 소스 코드는 비공개이며, 저자들은 pseudocode(부록 8절)와 agent prompt 원문(부록 9절)을 실었다.
• 결과: 전문가가 고른 11개 목표의 blind 평가에서 Co-Scientist는 평균 선호 순위 2.36(1이 가장 선호, 4가 가장 덜 선호)으로 가장 많이 선호됐고, 새로움 3.64점과 영향력 3.09점(5점 만점)도 Gemini 2.0 Flash Thinking Experimental, Gemini 2.0 Pro Experimental, OpenAI o1 세 baseline보다 높았다. ablation에서 검색 tool을 끈 Reflection agent는 이미 출판된 아이디어에 새로움 6.14점(10점 만점)을 줬고, 검색을 켜면 2.38점으로 내려갔다. 실험실 검증에서 새 후보 약물 KIRA6는 IC50(세포 생존을 절반으로 줄이는 데 드는 약물 농도)이 KG-1a 백혈병 세포에서 10 nM, 비백혈병 대조 세포 TK6에서 180 nM으로 18배 차이가 났다.
• 한계: 저자들은 Co-Scientist가 open-access 문헌에 기대므로 유료 문헌의 선행 연구와 실패한 실험 결과를 놓칠 수 있고, base model의 hallucination 위험도 그대로 이어받는다고 밝혔다. 또 Elo는 독립된 정답 없이 시스템이 스스로 매긴 점수이고, 전문가 평가는 규모가 작으며, 세포주 실험은 첫 단계의 생물학 검증이라고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.