MegaScience: Pushing the Frontiers of Post-Training Datasets for Science Reasoning

이 논문은 과학 추론을 학습시킬 공개 post-training 자료가 부족한 문제를, 대학 교과서 12.8k권에서 뽑은 문항과 기존 공개 dataset을 고르고 다시 정리해 만든 1.25 million개 규모의 학습 자료로 풀었다.

이 논문은 한마디로 과학 추론용 SFT(정답 예시로 하는 지도 학습) 자료 TextbookReasoning과 MegaScience를 만들고, 이 자료로 학습한 모델과 평가 체계를 함께 공개한 dataset 논문이다. TextbookReasoning은 대학 교과서 12.8k권을 텍스트로 바꾼 뒤 LLM으로 문답을 뽑고 다듬고 걸러 651k 문항을 남겼다. MegaScience는 TextbookReasoning 전체에 NaturalReasoning과 Nemotron-Science에서 고른 일부를 더한 1.25 million개 자료이고, benchmark 문항의 paraphrase(표현을 바꾼 같은 문항)로 LLM이 판정한 학습 문항은 뺐다. Qwen2.5-7B에 학습한 모델은 14개 benchmark 평균 61.01로 공식 Qwen2.5-7B-Instruct의 58.80보다 높았다.

핵심 요약

• 문제: 공개 추론 연구는 자료, benchmark, 검증 방법이 풍부한 수학과 코딩에 주로 몰려, 과학 추론은 공개 생태계에서 크게 뒤처져 있었다. 과학 benchmark 다수가 객관식이고 post-training 자료도 그 형식을 따르는 경우가 많아, 저자들의 관찰로는 이런 자료로 학습한 모델이 객관식 점수는 부풀고 계산 문제에서 크게 약했으며, 대개 n-gram이나 embedding 유사도에 기대는 decontamination(학습 자료에서 평가 문항을 지우는 작업)은 표현이나 구조를 조금 바꾼 문항에 쉽게 뚫린다. 여러 과학 자료의 참조 정답은 web에서 긁어 왔거나 LLM이 만든 것이라 사실 정확성을 보장하기 어렵고, DeepSeek-R1에서 긴 CoT(풀이 과정 서술)를 그대로 증류한 자료는 overthinking(필요 이상으로 긴 풀이)에 빠지기 쉬워 학습과 추론 효율을 떨어뜨린다.
• 입력과 출력: 교과서 PDF와 공개 과학 dataset(NaturalReasoning, Nemotron-Science)을 받아, 문항과 단계별 풀이로 된 SFT 자료 두 개(TextbookReasoning, MegaScience), 15개 benchmark를 묶은 평가 체계, 이 자료로 학습한 Llama3.1, Qwen2.5, Qwen3 모델을 낸다. 논문 종류는 자료 구축 pipeline과 학습 실험을 갖춘 dataset 논문이다.
• 방법: TextbookReasoning은 olmOCR(PDF 글자 인식 도구)로 교과서를 텍스트로 바꾸고, 4,096-token 조각마다 Llama3.3-70B-Instruct가 다단계 추론을 요구하고 원문에 전체 풀이가 있는 문답을 뽑는 엄격한 기준(high-standard)과 완전한 문항과 답이면 뽑는 느슨한 기준(low-standard)으로 문답을 추출한 뒤, MinHash 중복 제거(유사도 threshold 0.6), DeepSeek-V3의 원문 대조 다듬기, 결함 문항 필터링을 거친다. decontamination은 BGE-large-en-v1.5 embedding으로 문항마다 가장 비슷한 benchmark 문항 5개를 찾고, Llama3.3-70B-Instruct가 각 쌍이 paraphrase인지 판정해 하나라도 해당하면 그 문항을 뺀다. MegaScience는 자료마다 응답 길이, 난이도(Qwen2.5-7B-Instruct 응답 16개를 Qwen2.5-32B-Instruct가 0에서 10점으로 채점), 무작위 선택을 Qwen2.5-7B SFT로 비교해 고르고, TextbookReasoning을 뺀 자료에는 DeepSeek-V3로 단계별 풀이를 새로 단다.
• 구현: TextbookReasoning은 웹에서 모은 교과서 가운데 metadata에 공개 접근 제한이 표시된 책을 빼고, Llama3.3-70B-Instruct로 분야와 수준을 분류해 대학 수준 미만 책을 거른 12.8k권(컴퓨터과학 6,057권, 의학과 생물 2,305권 등)을 썼으며, 추출한 문답 945,683개가 중복 제거, 필터링, decontamination을 거쳐 651,840개가 되었다. MegaScience는 NaturalReasoning 436.4k, Nemotron-Science 173.3k, TextbookReasoning 651.8k를 합친 1261.5k개이고, LLaMA-Factory(fine-tuning 도구)로 learning rate 5e-6, batch 512, 3 epoch 설정에서 Qwen2.5, Qwen3, Llama3.1 base model을 fine-tuning했다. 공식 GitHub 저장소 GAIR-NLP/MegaScience에는 README 기준으로 olmOCR 변환 뒤의 문답 추출부터 decontamination, 참조 정답 추출, 최종 형식 변환까지 단계별 data_process script와 LLaMA-Factory 학습 설정이 있고, 두 dataset과 학습 모델은 Hugging Face에, 평가 코드는 별도 GitHub 저장소 lm-open-science-evaluation에 있다.
• 결과: 같은 Qwen2.5-7B에 다른 공개 자료로 학습한 모델과 Qwen2.5-7B-Instruct를 함께 비교한 표 6에서, MegaScience 학습 모델은 MMLU(Massive Multitask Language Understanding)를 뺀 14개 benchmark 가운데 7개에서 가장 높았고, 평균 61.01로 Qwen2.5-7B-Instruct의 58.80보다 높았으며, SciBench 48.75와 OlympicArena 40.23을 냈다. Qwen3를 non-thinking mode로 맞춘 비교에서 Qwen3-30B-A3B의 MegaScience 학습 모델 평균은 73.86으로 공식 Instruct의 70.62보다 높았고 Llama3.1-8B도 51.07 대 49.67로 앞섰지만, Qwen2.5-1.5B에서는 공식 Instruct가 2.99 앞섰다. LLM 기반 decontamination은 기존 자료에서 benchmark 유출 문항을 SCP-116K 19K개, NaturalReasoning 66K개, Nemotron-Science 164K개 찾아냈다.
• 한계: 저자들은 모든 base model에 맞는 하나의 최적 자료 조합을 찾기 어렵고, Llama 계열이나 작은 Qwen2.5처럼 능력이 낮은 모델은 기초 자료나 쉬운 warmup 학습 없이 MegaScience처럼 어려운 자료로 학습하면 응답이 짧아지고 반복이 늘었다고 밝혔다. 자료 선택은 Qwen2.5-7B를 proxy model로 써서 검증해 결과가 그 모델의 능력에 묶였고, 표 7의 수학 평균은 Llama3.1-8B, Qwen2.5-1.5B, Qwen3-1.7B, Qwen3-4B에서 공식 Instruct보다 낮았다. 강화학습(RL)은 후속 과제로 두었고, 긴 CoT를 짧게 압축하는 실험은 계산 자원 제약으로 미뤘다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.