Reimagining computational quantum research with AI scientists

이 논문은 AI 과학자가 양자과학 논문 재현에 실패하는 구조적 이유를 찾고, 검증된 복구 경험을 증류하는 자기개선 에이전트로 성능을 올렸다.

이 논문은 한마디로 계산 양자과학 논문 재현으로 AI 과학자의 한계와 자기개선 경로를 보인 연구다. 저자들은 OmniQ 가상 연구 환경에서 논문 59편의 결과 재현을 여러 에이전트에 시켰고, 과학 기록 자체의 불일치라는 근본 장벽을 찾아냈다. 사람 전문가가 개입하면 실패가 성공으로 바뀌는 경우가 많아, 그 복구 지식을 재사용 경험으로 증류하는 Residual Agents를 만들었다. 그 결과 약한 기반 모델로도 강한 상용 시스템과 비슷한 재현 성공률을 낮은 비용으로 달성했다.

핵심 요약

• OmniQ라는 전문가 검수 가상 연구 환경에서 논문 59편을 재현 과제로 바꾸고, LLM 기반 에이전트 시스템 다섯 개와 서드파티 하니스 여섯 개를 평가했다.
• 재현 실험에서 60편 중 18편에서 논문 설명, 공개 코드, 보고 결과가 어긋나는 재현성 문제를 찾아냈다.
• 정리된 과제에서 최고 성적은 Claude Code와 Opus 5.5 조합으로 약 93%를 재현했고, 최저는 Meta-Harness와 DeepSeek 조합으로 19%였다.
• Residual Agents는 검증된 복구 작업을 재사용 경험으로 증류해, DeepSeek V4.1 Flash의 재현 성공률을 68%에서 약 85%로 올렸다.
• 서드파티 에이전트 하니스는 재현을 반드시 좋아지게 하지 않았고 성능을 낮추기도 했다.
• 재현된 결과 전부를 모델 컨텍스트 프로토콜 기반 확장 플랫폼에 담아 검증된 연구 워크플로를 AI 과학자가 다시 쓸 수 있게 했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.