AI-Assisted Scientific Assessment: A Case Study on Climate Change

이 논문은 반복 실험으로 정답을 확인할 수 없는 과학 평가 작업에 AI가 얼마나 도움이 되는지를, 기후과학자 13명이 Gemini 기반 공동 작성 도구로 AMOC(대서양 자오선 역전순환) 안정성 평가 보고서를 함께 쓴 사례로 측정했다.

이 논문은 한마디로 정답을 반복 실험으로 확인할 수 없는 과학 평가 작업에 Gemini 기반 AI Assistant를 넣어 본 사례 연구다. 기후과학자 13명이 2025년 11월과 12월의 5주 동안 outline, 절별 초안, 최종 보고서의 세 단계로 AMOC 안정성 평가 보고서를 썼고, 104개 버전에 로그인 시간 합계 46시간 33분이 들었다. 저자들은 AI 기여를 문장 정렬로 재는 Retention과 Intervention 지표를 제안했으며, 최종 보고서에는 AI 초안 문장의 93.9%가 주제로 남았고 최종본 문장의 58.3%는 AI 초안과 대응이 없는 전문가의 새 내용이었다. 저자들은 한 분야, 한 주제, 한 전문가 집단의 단일 실험이라 통제 조건이 없다는 한계를 밝혔다.

핵심 요약

• 문제: 지금의 AI co-scientist는 LLM 호출을 병렬로 이어 가설 공간을 대규모로 탐색하는 pipeline이고, 신약 개발이나 코드 최적화처럼 반복 실험으로 바로 정답을 확인하는 작업에서 성과를 냈다. 거시경제학, 역학, 기후과학의 일부 질문은 통제 실험이 어렵고 정답이 측정값 대신 과학자 합의로 정한 지식 상태여서, 저자들은 이런 verification-poor(검증이 어려운) 작업에도 AI가 도울 수 있는지 묻는다.
• 입력과 출력: 단일 사례 연구 논문이다. AI Assistant는 현재 문서, evidence panel(근거 문서 목록)에 올린 논문(직접 올리거나 Google 검색과 미리 모은 AMOC 논문 약 1,660편에서 찾은 것), 대화 기록, 과학자가 문서 전체나 선택한 문장 범위에 단 지시를 입력으로 받는다. 출력은 outline 초안, 인용과 참고문헌이 달린 절별 초안, 지시에 따른 수정본, 수사와 논증 구조로 본 수정 검토 의견, 로그인 때 보여 주는 변경 요약이다.
• 방법: 작업은 IPCC(기후변화에 관한 정부간 협의체) 평가를 본뜬 세 단계로 진행했다. Phase 1에서는 Assistant가 만든 outline을 과학자들이 고쳤고, Phase 2에서는 Assistant가 outline을 전체 초안으로 늘린 뒤 절마다 AMOC corpus 전체를 batch로 검토해 관련 논문을 고르고 인용을 달았으며, Phase 3에서는 Assistant가 절들을 한 보고서와 한 참고문헌 목록으로 합쳤다. AI 기여는 Gemini로 구한 문장 정렬로 재며, Retention은 AI 초안 문장 가운데 최종본에 주제가 남은 비율이고 Intervention은 최종본 문장 가운데 AI 초안에 대응 문장이 없는 비율이다.
• 구현: Vertex AI로 부른 Gemini를 썼고 Phase 1은 Gemini 2.5 Pro, Phase 2와 3은 Gemini 3 Pro Preview였다. AMOC 논문 약 1,660편은 LLM으로 Markdown으로 바꿔 200단어 chunk(20단어 겹침)로 나누고, gemini-embedding-001의 3072차원 embedding 검색과 BM25(고전적인 낱말 일치 검색 방식) 검색을 함께 쓴다. 참여자는 IPCC와 다른 기관 보고서의 책임 저자 경험이 많은 기후과학자 13명이고, 저자들은 이 도구를 비공개 prototype으로 밝혔다.
• 결과: 과학자 13명은 104개 버전을 거쳐 로그인 시간 합계 46시간 33분에 보고서를 끝냈고, 참여자들은 비슷한 작업에 보통 100에서 200 person-hour가 든다고 추정했다. 보고서의 Retention은 93.9%, Intervention은 58.3%였고(outline은 98.8%와 37.2%), 과학자들은 AMOC 약화에 대한 '완전한 과학적 합의'라는 AI 문장을 뒤집고 인위적 원인 귀속의 신뢰도를 Medium에서 Low로 낮췄다. 사후 설문에서 응답자 모두 2배 이상 빨라졌다고 스스로 답했고, 31%는 10배 넘게 빨라졌다고 답했다.
• 한계: 저자들은 결과가 한 분야(기후과학), 한 주제(AMOC), 전문가 13명의 한 집단에서 나온 단일 실험이라 AI 없이 사람이 쓰는 baseline 같은 통제 조건이 없다고 밝혔다. Phase 1과 2 사이의 모델 교체는 분석으로 가를 수 없는 confound(혼란 요인)이고, 작업 시간은 로그인 시간으로 잰 근사값이며, 수정 기여 추정은 Gemini 자체 평가에 기댄 탐색용 값이다. AI는 여러 출처의 수치 범위를 합치라는 요청에 한 출처의 수 하나를 고르는 오류를 몇 번 냈고, 반대 결과의 연구를 강하게 요구받으면 그 연구에 지나치게 큰 비중을 주는 obsequious(아첨하는) 행동을 보였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.