Kosmos: An AI Scientist for Autonomous Discovery

이 논문은 연구 agent가 일관성을 잃기 전에 할 수 있는 행동 수가 제한되어 발견이 얕아지는 문제를, 병렬로 실행되는 data analysis agent와 literature search agent의 출력을 구조화된 world model에 모으고 그 world model로 다음 task를 정하는 방법으로 풀었다.

이 논문은 한마디로 연구 목표와 dataset을 받아 데이터 분석, 문헌 검색, 가설 생성을 cycle로 되풀이하고 발견을 인용이 달린 과학 보고서로 내는 AI scientist 시스템 Kosmos를 소개한 시스템 논문이다. 병렬 agent의 출력 요약을 구조화된 world model에 모으고, 그 world model에 질의해 다음 cycle의 task를 정한다. 평균 run 한 번에 코드 42,000줄을 실행하고 논문 1,500편을 읽었으며, 전문가가 확인한 보고서 문장 102개 가운데 79.4%가 정확했다. 대사체학, 재료과학, connectomics(신경 연결망 분석), 통계유전학, 단백체학, 전사체학 dataset에서 발견 사례 7건을 보였고, 그 가운데 3건은 사전 공개 원고나 미공개 원고의 결과를 독립적으로 재현한 사례다.

핵심 요약

• 문제: 데이터 기반 발견은 문헌 검색, 가설 생성, 데이터 분석을 여러 번 되풀이해야 하는데, 기존 AI 연구 agent는 일관성을 잃기 전에 할 수 있는 행동 수가 제한되어 발견이 깊어지기 어려웠다. 저자들은 앞선 시스템의 한계도 짚었다. Robin은 agent 사이 context 공유가 적고 주로 치료제 개발에 맞춰져 있으며, Sakana의 AI Scientist는 machine learning 연구에 머물고, Google의 AI co-scientist는 반복 추론으로 가설을 만드는 데 그친다.
• 입력과 출력: 과학자가 정한 연구 목표와 dataset을 받는다. 목표를 마쳤다고 판단하면 핵심 발견을 과학 보고서 3편이나 4편으로 정리해 내고, 보고서의 문장과 그림마다 literature search agent가 찾은 논문이나 data analysis agent가 만든 Jupyter notebook을 인용한다. 논문 종류는 구현된 AI scientist를 다룬 시스템 논문이고, 발견 사례 7건(기존 원고의 결과 재현 3건, 새로운 기여 4건)과 전문가 평가로 성능을 보였다.
• 방법: cycle마다 Edison Scientific의 범용 agent 두 종류, 곧 data analysis agent와 literature search agent를 여러 instance로 병렬 실행하고 instance마다 최종 목표에 맞춘 task를 하나씩 맡긴다. cycle 하나에서 최대 10개의 문헌 검색과 분석 task가 끝나면 그 출력 요약으로 구조화된 world model(agent들이 정보를 공유하는 지식 구조)을 갱신하고, world model에 질의해 다음 cycle의 task를 정한다. 저자들은 이 context 관리 방식으로 기존 시스템보다 8배 많은 iteration을 실행할 수 있다고 밝혔다.
• 구현: 평균 run 한 번에 data analysis agent rollout 166번으로 코드 42,000줄을 실행하고 literature review agent rollout 36번으로 전체 논문 1,500편을 읽었으며, 코드 생성량은 Robin의 9.8배였다. 발견 보고서는 PDF 부록과 Edison platform에 공개됐다. 공식 저장소 EdisonScientific/kosmos-figures의 README는 저장소 내용을 그림 2에서 8의 plot script와 사람 검증 분석으로 소개하고, 맨 위에는 그림별 폴더가 있다.
• 결과: 대표 보고서 3편에서 뽑은 문장 102개를 원래 코드와 인용 논문을 가린 채 전문가가 확인하자 79.4%가 정확했고, 데이터 분석 문장은 85.5%, 문헌 검토 문장은 82.1%, 해석(synthesis) 문장은 57.9%였다. 협업 연구실들은 20 cycle run의 발견을 스스로 내려면 평균 6.14개월이 걸린다고 추정했다(n=7). 사례에서는 당시 미공개였던 대사체 연구의 상위 대사물질 15개 log10 fold change(배수 변화의 로그값)를 R2(결정계수) 0.998로 재현했고, 심근 섬유화의 MR(Mendelian randomization, 유전 변이로 인과를 추정하는 분석)에서 Kosmos와 사람 분석이 각각 찾은 유의 단백질 32개 가운데 31개(96.9%)가 겹쳤다.
• 한계: 저자들은 해석 문장의 정확도가 낮은 것이 통계적으로 유의한 결과와 과학적으로 가치 있는 결과를 혼동하는 경향 때문일 것으로 보았고, 평가자들은 Kosmos가 지나치게 강한 주장을 하는 경향을 지적했다. 다룰 수 있는 dataset은 약 5GB까지이고, 이미지나 원시 sequencing 파일 같은 raw data 분석에는 현재 약하며, 참조나 교차 검증에 쓸 외부 공개 데이터에 스스로 접근할 수 없다. 실행이 확률적이라 독립 run마다 다른 발견이 나올 수 있고, 연구 방향이 목표 문장의 표현에 민감하며, 현재 구현에서는 과학자가 중간 cycle에 개입할 수 없다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.