Not Search, But Scan: Benchmarking MLLMs on Scan-Oriented Academic Paper Reasoning

이 논문은 MLLM(이미지와 글을 함께 다루는 multimodal LLM)이 주로 찾을 대상을 미리 알려 주는 질문으로 평가되던 문제를, 찾을 대상이 빠진 질문으로 논문 전체를 훑어 과학 오류를 찾게 하는 benchmark ScholScan으로 풀었다.

이 논문은 한마디로 논문 전체를 읽고 앞뒤가 어긋난 곳을 찾는 scan-oriented 과제로 MLLM을 평가하는 benchmark ScholScan을 낸 논문이다. 13개 자연과학 분야 논문 715편에서 아홉 종류의 과학 오류를 묻는 질문 1,800개를 만들고, 오류 탐지, 근거 위치, 추론 단계, 관계없는 오류 수를 함께 보는 점수로 model 15개의 입력 구성 24개와 RAG(retrieval-augmented generation) 방법 8개를 비교했다. 가장 높은 평균 점수는 OCR(이미지에서 글자를 읽어 내는 기술) 글자 입력을 받은 Gemini 2.5 Pro의 30.3(100점 환산)이었다. Qwen3-Thinking의 글자 입력 점수 17.4는 검색 기반 RAG를 붙이면 6.8에서 16.7 사이로 내려갔다.

핵심 요약

• 문제: 지금의 학술 논문 추론 연구는 대부분 질문이 찾을 대상을 미리 정해 주고 model이 관련 구절 몇 개를 검색해 그 근처 근거로 추론하는 search-oriented 방식을 따른다. 이 방식은 대상이 분명한 task에는 잘 맞지만 연구자처럼 논문 전체를 읽고 맞춰 보는 추론과 검증에는 약하고, QA(질의응답) 형식 benchmark는 대개 답이 있다고 전제하고 질문에 단서를 넣으며 평가도 주로 최종 답에 집중해 중간 추론이 근거에 맞는지 확인하는 부분이 적다.
• 입력과 출력: 학술 논문 오류 탐지 benchmark 논문이다. model은 논문 한 편이나 여러 편 전체를 page 이미지나 OCR 글자로 받고, 'Methods 절에서 Sampling & Generalizability 문제를 점검하라'처럼 찾을 대상이 빠진 질문에 대해 근거에서 오류까지 이어지는 추론을 자유 형식으로 쓴다. 채점은 GPT-4.1이 답에서 인용한 근거와 추론 단계를 뽑아 사람이 다듬은 정답 설명과 맞춰 보는 방식이다.
• 방법: ICLR(International Conference on Learning Representations) 2024와 2025, Nature Communications 논문을 모아, 채택 논문에는 Gemini 2.5 Pro가 여러 절이나 page에 걸친 문장 수정안으로 오류와 질문, 설명을 만들고 검수를 통과한 수정은 annotator가 원문에 직접 넣었으며(Generation), ICLR 탈락 논문에서는 공개 review가 짚은 반증 가능한 오류를 뽑아 질문으로 바꿨다(Sampling). 인용한 원 논문과 어긋나게 고친 Cross-Paper 문제는 Generation으로만 만들었고, 오류는 연구 질문과 정의(RQD), 설계와 식별 가능성(DI), 표본과 일반화(SG), 측정과 조작화(MO), 데이터 처리(DHP), 계산과 수식(CF), 추론과 결론(IC), 인용 정합(RCA), 언어와 표현(LE)의 아홉 종류다. 점수는 목표 오류를 찾았는지(0 또는 1)에 근거 위치 점수(과다 보고에 penalty를 준 Dice 점수)와 추론 점수(정답 추론 사슬과 앞에서부터 맞은 단계 비율의 제곱)의 기하 평균, 관계없는 오류가 많을수록 빠르게 줄어드는 penalty를 곱해 0에서 1 사이로 매긴다.
• 구현: 분야 전문가 10명이 문항마다 두 명씩 따로 검토하고 의견이 갈리면 세 번째 전문가가 정했으며, 후보 3,500개 가운데 1,700개를 버리고 남은 것 가운데 1,541개를 고쳤다(질문 재작성 535개, 설명 수정 1,207개, 오류 종류나 metadata 정정 1,141건). 그 결과 13개 자연과학 분야의 실제 논문 715편에서 나온 질문 1,800개가 남았고, 평가는 model 15개를 page 이미지 입력과 Tesseract OCR 글자 입력으로 나눈 입력 구성 24개와 RAG 방법 8개로 했다. README 기준으로 GitHub 저장소에는 GPT-4.1 채점과 집계 script, 추론 결과 폴더, VolcEngine batch 변환 script, PDF를 page 이미지로 바꾸는 script, RAG 검색 지표 script, prompt를 모은 utils.py가 있고, 상세 데이터는 저장 용량 때문에 Hugging Face에 둔다고 적었다.
• 결과: 점수(100점 환산)는 전반적으로 낮아, 이미지 입력에서는 GPT-5가 평균 19.2로, OCR 글자 입력에서는 Gemini 2.5 Pro가 30.3으로 가장 높았지만 Gemini 2.5 Pro도 모든 오류 종류에서 60점 아래였다. 추론 강화 model의 점수가 더 높아 Qwen3 A22B의 Thinking은 17.4, Instruct는 1.7이었고 DeepSeek-R1은 11.4로 DeepSeek-V3.1의 1.7보다 높았으며, MLLM 9개에서 글자 입력이 이미지 입력보다 평균 4.81점 높았지만 수식과 표가 OCR에서 깨지는 CF에서는 이미지 입력이 더 나았다. Qwen3-Thinking 글자 입력에서 RAG 없는 점수 17.4는 BM25(낱말 일치 기반 검색) 16.7, Contriever 16.6, BGE-M3 11.3, NV-Embed-v2 6.8로 내려갔고 정답 page를 주는 Oracle 조건만 24.5로 올랐으며, 이미지 입력에서는 Llama 4 Maverick baseline 7.0보다 높은 방법이 7B model 기반의 VRAG-RL(10.9) 하나였다.
• 한계: scan-oriented 설정은 과학 오류 탐지 한 가지 task로 구현했고, 원천 논문은 ICLR 2024와 2025, Nature Communications에서 왔으며, 오류는 Gemini 2.5 Pro가 만든 합성 오류와 탈락 논문 review에서 뽑은 오류로 이뤄졌다. Gemini 2.5 Pro의 첫 출력에는 hallucination, 논리 모순, 질 낮은 질문이 많아 전문가 검수가 필요했고, 채점은 GPT-4.1의 추출에 기대며 사람 추출과의 일치는 무작위 200문항에서 종합 점수 Spearman 상관 0.841로 확인했다. 저자들은 OCR 글자 입력에서 그림과 수식 같은 구조 정보가 크게 깨져 multimodal 정보가 필요한 문항이 답할 근거를 잃고 오류 종류 사이 상관도 부풀려진다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.