SciExam for ENSO: Can AI Agents Build Climate Models?

AI 에이전트가 정답 없는 실제 과학 문제(엘니뇨 모델)를 풀어 사람이 낸 모델과 경쟁하게 만든 벤치마크 논문이다.

이 논문은 한마디로 'AI 에이전트가 정답이 없는 실제 과학 연구를 수행할 수 있는가'를 엘니뇨 기후 모델로 시험한 벤치마크다. 에이전트는 6시간 안에 실제 관측 데이터를 처리하고 자기 진단 지표를 만든 뒤, 그 피드백만으로 확률적 기후 모델을 설계한다. 숨겨진 채점자가 통계 재현·숨은 변수 복원·미래 연도 예측을 평가하는데, 12개 에이전트 중 6개가 발표된 사람 모델(0.378점)보다 높은 점수를 냈다. 에이전트들이 만든 모델은 과학계에서 아직 논쟁 중인 엘니뇨 비대칭 두 가설 각각과 호환되는 구조여서, 단순 암기가 아니라 후보 메커니즘을 제안함을 보였다.

핵심 요약

• 정답·루브릭·LLM 심사자 없이, 숨겨진 과학 기준(통계·변수 의존성·예측력)으로만 결과를 평가하는 최초 계열의 벤치마크를 만들었다.
• 에이전트가 자기 피드백용 진단 지표를 미리 얼려둬서, 채점 기준을 결과에 맞춰 조작하지 못하게 설계했다.
• 12개 에이전트 중 6개가 발표된 참고 모델보다 높은 점수를 받았고, 강점은 변수 복원과 예측이었다.
• 상위 에이전트의 모델 구조가 엘니뇨 비대칭을 설명하는 두 경쟁 가설 각각과 호환되어, 열린 과학 논쟁에 직접 관련된 결과를 냈다.
• 연도 정보를 가려도 성적이 유지되어 관측 기록 암기가 아님을 확인했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.