Forecasting Scientific Progress with Artificial Intelligence

이 연구는 엄격한 시간적 지식 제약 하에서 과학적 진보를 예측하는 AI의 능력을 평가하기 위해 다학제 벤치마크 CUSP를 제안한다.

이 연구는 과학 문제를 잘 설명하는 능력이 미래의 과학 발전을 정확히 예측하는 능력과 같은지 평가한다. CUSP는 지식 기준 시점을 엄격히 제한한 상태에서 여덟 과학 분야의 4,760개 사건을 다루는 사건 수준 예측 평가 모음이다. 여섯 개 프런티어 모델은 미래 발전의 그럴듯한 원리는 자주 제시했지만, 실제 가능성 판단은 거의 우연 수준이었고 실현된 접근법과의 일치도 및 공개 시점 예측도 낮았다. 기준 시점 이전의 관련 지식을 더 제공하면 성능이 좋아졌지만 한계가 사라지지 않았고, 같은 정보 조건의 사람 비교에서도 모델은 가능성과 시점 예측에서 뒤처졌다. 따라서 연구 우선순위나 자원 배분에 AI 예측을 쓸 때는 과신, 방향 편향, 발전 시점을 늦게 보는 경향을 별도로 검증해야 한다.

핵심 요약

• 지식 격차: 모델이 컷오프 날짜 이전에 존재한 관련 정보에 접근할 수 있을 때 관찰되는 성능 향상이다. 이는 모델의 실패가 단순히 이미 알려진 사실을 몰라서 발생한 정도를 측정한다.
• 예측 격차: 모델이 컷오프 이전 지식을 완전히 갖추었더라도 보이는 성능과 실제 결과 사이에 남아 있는 차이다. 이는 미지의 것을 예측하는 본질적 난이도를 나타낸다.
• 과신: 모델들은 경험적 정확도가 낮을 때조차 자신의 예측에 일관되게 높은 확신을 보고했다. 이러한 보정 오류는 인간 연구자가 AI의 예측을 언제 신뢰해야 할지 판단하기 어렵게 만든다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.