SciVideoBench: Benchmarking Scientific Video Reasoning in Large Multimodal Models

이 논문은 기존 영상 benchmark 대부분이 일반 장면을 다뤄 최신 모델이 이미 포화된 점수를 내는 문제를, JoVE(Journal of Visualized Experiments) 연구 실험 영상 241개로 만든 객관식 1,000문제로 지각, 전문 지식, 추론을 함께 재는 방법으로 풀었다.

이 논문은 한마디로 연구 수준 실험 영상을 보고 과학 추론을 해야 풀리는 문제 1,000개를 모은 benchmark다. 문제는 사람 전문가와 LLM(대규모 언어 모델) agent가 함께 만들고 검수했으며, 정량, 가설, 개념 추론 세 유형으로 나뉜다. 기본 평가(Table 2)에서 가장 높은 Gemini-2.5-Pro도 전체 정확도가 64.30%였고 오픈소스 최고 모델은 38.80%였다. 정량 추론이 모델 전반에서 가장 어려웠고, chain-of-thought prompt는 특히 정량 추론 점수를 끌어올렸다.

핵심 요약

• 문제: 기존 영상 benchmark 대부분은 영화, 일상 활동, 절차 안내 영상(instructional video) 같은 일반 장면을 다루고, Gemini 2.5 Pro는 VideoMME와 Neptune에서 85%를 넘는 정확도로 이미 포화된 점수를 냈다. 과학과 교육 영상을 넣은 최근 benchmark도 대부분 대학 수준에 머물고 MMVU benchmark의 일부 문제는 영상 없이 풀 수 있어, 연구 수준 실험 영상에서 지각, 전문 지식, 추론을 함께 재는 시험이 필요했다.
• 입력과 출력: 이 논문은 benchmark 논문이다. 모델은 JoVE가 학술지 논문과 함께 게재한 연구 실험 영상 하나와 객관식 질문을 받아 보기 10개 가운데 답 하나를 고른다. 문제는 물리, 화학, 생물, 의학의 25개가 넘는 세부 분야 영상 241개에서 만든 1,000개이고, 정량 추론(Quantitative) 245개, 가설 추론(Hypothetical) 385개, 개념 추론(Conceptual) 370개로 나뉜다.
• 방법: 분야별 박사과정생 4명이 만든 예시를 GPT-4o로 늘려 질문 유형마다 예시 12개를 두고, Gemini 2.5 Pro 기반으로 질의응답(QA) 쌍을 만드는 QA Generator가 영상, Whisper로 받아 적은 음성 자막, 논문 본문으로 문제 초안을 만든다. Evaluator는 직접 풀어 답할 수 있는 문제인지 확인하고, Visual Comparer는 풀이 근거가 영상에 있는지 보고 timestamp를 붙이며, Refiner는 질문이 영상 구간을 직접 가리키도록 고쳐 영상을 봐야만 풀리게 만든다. 마지막으로 사람 검수자가 timestamp와 답을 확인하고, 자막에만 나오는 질량이나 온도 같은 핵심 정보는 script로 해당 영상 frame에 덧씌운다.
• 구현: 오답 보기(distractor)는 개념과 가설 문제에서는 Gemini 2.5 Pro가 그럴듯한 오답 9개를 만들고, 정량 문제에서는 정답에 Gaussian noise를 더해 만들었다. 평가는 LMM-Eval toolkit(대형 멀티모달 모델 평가 도구)으로 NVIDIA H100 GPU 8개에서 temperature 0으로 실행했다. 공식 저장소 dengandong/SciVideoBench에는 README, figs 폴더, lmms-eval용 scivideobench task 폴더가 있고, README는 이 benchmark가 lmms-eval에 통합되었고 데이터는 Hugging Face에 있다고 밝혔다.
• 결과: 기본 평가(Table 2)에서 전체 정확도는 Gemini-2.5-Pro가 64.30%로 가장 높았고, 오픈소스 최고 모델 InternVL-3-78B-Instruct는 38.80%였다. 영상 없이 글만 받은 GPT-4o는 15.80%였고, 분야마다 대학원생 세 명이 자료 없이 푼 사람 평가는 17.4%였다. Chain-of-thought prompt를 주자 Gemini-1.5-Pro의 전체 정확도는 21.10%p, GPT-4o의 정량 추론 정확도는 11.84%에서 34.29%로 올랐다.
• 한계: 영상은 모두 JoVE 한 곳에서 가져왔고, 문제 형식은 보기 10개 가운데 하나를 고르는 객관식이다. 사람 baseline은 분야마다 대학원생 세 명이 자료 없이 푼 점수 하나뿐이다. 오류 원인 분석은 Gemini-1.5-Pro-Thinking과 Gemini-2.0-Flash-Thinking의 풀이만 사람이 검증한 풀이 근거(rationale)와 대조했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.