CodeScientist: End-to-End Semi-Automated Scientific Discovery with Code-based Experimentation

CODESCIENTIST는 대규모 언어 모델을 활용해 실행 가능한 코드를 통해 연구 아이디어를 생성하고 검증함으로써 과학적 발견을 지원하도록 설계된 반자동 시스템이다.

CODESCIENTIST는 대규모 언어 모델을 활용해 실행 가능한 코드를 통해 연구 아이디어를 생성하고 검증함으로써 과학적 발견을 지원하도록 설계된 반자동 시스템이다. 이 시스템은 LLM 신뢰도, 지식 그래프 복잡성, 텍스트 세계 생성 방법에 대한 통찰 등 여러 연구 영역에 걸쳐 여섯 가지 별개의 발견을 성공적으로 생성하고 검증했다.

핵심 요약

• 기존 자율 과학 발견(ASD) 시스템은 종종 연구 파이프라인의 특정 부분에 집중하거나 도메인 특화 언어에 의존해 잠재적 발견의 범위를 제한한다.
• 대규모 언어 모델을 과학적 발견에 활용하면서 코드 기반 실험을 강조하는 종단간 반자동 시스템이 필요하다.
• LLM 기반 ASD 시스템의 발견에 대한 신뢰성과 재현성을 평가하는 것은 언어 모델 출력의 본질적 변동성과 생성된 코드의 불충실 가능성 때문에 어렵다.
• CODESCIENTIST는 아이디어 발상, 계획, 실험 구성 및 실행, 보고, 메타 분석 단계로 구성된 반자동 종단간 과학 발견 워크플로우를 구현한다.
• 아이디어 발상에 'LLM-as-a-mutator' 유전 탐색 접근을 사용해 연구 논문의 단편과 코드 블록을 결합함으로써 다양한 연구 아이디어를 생성한다.
• 이 시스템은 계측된 샌드박스에서 코드를 생성·실행하며, 반복적인 생성-실행-반성-디버그 주기를 사용하고, 재현성을 보장하기 위해 각 실험마다 여러 차례 독립 실행을 수행한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.