Scientist World: Grow a Research World for AI-Scientists

이 논문은 연구 논문 1,000편을 실행 가능한 실험 환경으로 바꾼 Scientist World를 만들어 AI 과학자를 실제 실행으로 평가하고 훈련시킬 세계를 제공한다.

이 논문은 한마디로 논문마다 재현된 기준선을 가진 실행 환경을 만들어 AI 과학자의 연구 능력을 실제 실험 결과로 측정하고 훈련까지 하게 한 프로젝트다. 사람 개입 없는 다중 에이전트 파이프라인이 논문의 방법을 재현해 과제로 만들고, AI 과학자는 인간 저자가 달성한 결과 대비 개선도(FNI)로 점수를 받는다. 첫 1,000개 검증 환경을 공개했고, 최전선 AI 과학자는 74%의 경우 인간 연구자를 앞섰다. 이 환경에서 소형 모델을 훈련해 아이디어 제안 능력을 158% 끌어올려 최전선 수준에 도달했다.

핵심 요약

• 사람 개입 없는 다중 에이전트 파이프라인이 논문을 받아 방법을 재현하고, 그 재현 결과가 새 방법의 채점 기준이 되는 자립형 환경 1,000개를 만들어 공개했다.
• AI 과학자는 논문의 재현된 방법 대비 개선 정도를 Frontier-Normalized Improvement(FNI)로 점수 받으며, 최전선 AI 과학자는 74%의 경우 인간 연구자를 앞섰다.
• 환경들은 6,400 시간의 연구 궤적을 남겼고, 모든 아이디어와 실험, 실패, 성공이 기록으로 보존됐다.
• 이 환경에서 실제 실험 결과만을 보상으로 소형 모델을 훈련해, 아이디어 제안 능력을 158% 끌어올려 매개 환경 중앙값 기준 최전선 집단 수준에 도달했다.
• 논문 124,816편 중 품질과 실행 가능성 기준으로 1,000편을 골라 환경으로 만들었고, 환경은 매일 새 문헌을 흡수해 계속 자란다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.