ScienceIDE: Turning World's Scientific Codebase into Agent Learnable Environments

전 세계 과학 코드 저장소를 에이전트가 학습할 수 있는 실행 환경으로 바꾸는 인프라 ScienceIDE를 제안하고, 이 경험으로 훈련한 모델 family(PhAI-IDE)가 일반 코딩 능력까지 좋아진 긍정 전이를 보인 논문.

이 논문은 한마디로 과학 소프트웨어 코드를 AI 에이전트의 훈련장(환경)으로 바꾸는 대규모 인프라를 만든 연구다. 전문가가 정의한 과학 사례와 통과 기준에 따라 저장소를 실행 가능한 환경으로 변환하고, 그 안에서 과제 생성·실행·검증이 돌아가게 한다. 이렇게 만든 2,812개 과제 환경(64개 환경, 27개 코드베이스)에서 검증된 궤적으로 PhAI-IDE 72B/9B/4B 모델을 훈련했더니, 과학 코드 수리뿐 아니라 일반 코딩·추론 벤치마크에서도 향상이 있었다. 즉 과학 경험이 범용 능력으로 긍정적으로 옮겨간다는 증거를 제시한다.

핵심 요약

• 논문·코드가 그대로 훈련 경험이 되지 않는 '과학 경험 병목'을 정의하고 이를 푸는 인프라를 제안했다.
• 27개 과학 코드베이스를 64개 실행 환경, 2,812개 검증 과제로 바꿨고 천문·기후·재료 등 분야가 넓다.
• 검증된 궤적으로 훈련한 PhAI-IDE 모델 family가 과학 코드 수리뿐 아니라 일반 코딩·추론 벤치마크에서도 좋아졌다.
• ScienceIDE-Hard 평가에서 최상위 모델(Claude Fable 5.1)도 67% 수준에 그쳐, 과학 코딩이 여전히 어려운 영역임을 보여준다.
• SFT와 강화학습, 평가가 같은 환경 위에서 돌아가는 통합 작업공간을 지향한다는 점에서 LabChin 구조와 직접 공명한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.