PaperSearchQA: Learning to Search and Reason over Scientific Papers with RLVR

이 논문은 강화학습으로 훈련한 검색 agent가 일반 상식 질의응답에 머문 문제를, PubMed 생의학 초록 16 million 편의 검색 corpus와 답이 개체 하나인 생의학 질문 60k 개를 내놓고 그 위에서 agent를 학습시키는 방법으로 풀었다.

이 논문은 한마디로 과학 논문을 검색하며 답하는 agent를 RLVR(최종 답이 맞는지만 자동으로 확인해 reward를 주는 강화학습)로 학습시킬 수 있게 만든 dataset과 검색 환경이다. PubMed(생의학 논문 데이터베이스) 초록 16 million 편으로 BM25(낱말 일치 기반 검색)와 e5(embedding 기반 의미 검색) index를 만들고, GPT-4.1로 초록마다 factoid 질문(답이 개체 하나인 질문)을 만들어 학습 54,907개와 테스트 5,000개를 갖춘 PaperSearchQA를 공개했다. Qwen2.5 7B를 Search-R1(RLVR로 검색 agent를 학습하는 기존 방법) 방식으로 학습하자 PaperSearchQA 정확도가 51.0으로 RAG(검색한 문서를 붙여 답하는 검색 증강 생성)의 36.5보다 높았다. 다루는 범위는 생의학 초록에 대한 single-hop(문서 하나로 답할 수 있는) factoid 질문이다.

핵심 요약

• 문제: 검색 agent는 질문을 두고 추론하면서 지식 저장소를 검색하는 언어 모델인데, RLVR(최종 답이 맞는지만 자동 확인해 reward를 주는 강화학습)로 학습한 기존 검색 agent는 대부분 일반 상식 QA(질의응답)를 다룬다. 저자들은 과학 문헌처럼 전문 지식과 기술 용어로 검색해야 하는 분야의 학습 환경이 부족하고, 사람이 만든 BioASQ(생의학 문헌 질의응답 challenge)는 규모를 늘리기 어렵다고 본다.
• 입력과 출력: 이 논문은 학습용 dataset, 검색 corpus, benchmark를 내놓는 dataset 논문이다. 입력은 PubMed 초록 16 million 편으로 만든 검색 corpus와 생의학 factoid 질문(답이 개체 하나인 질문)이고, agent는 search 태그로 검색어를 내고 돌아온 문서를 보며 추론한 뒤 answer 태그에 짧은 답을 낸다.
• 방법: corpus에서 무작위로 뽑은 초록을 GPT-4.1에 넣어, 전문가와 함께 정한 10개 범주에 맞는 factoid 질문을 초록마다 3개씩 만들고 정답 동의어도 만든다. 질문의 50%는 다른 용어로 바꿔 써서 키워드 일치만으로 답을 찾기 어렵게 만든다. 학습은 Search-R1 설정을 따라 GRPO(Group Relative Policy Optimization, 한 질문에서 뽑은 여러 rollout의 reward를 서로 비교해 학습하는 RL 방법)로 하고, 답이 정답이나 동의어와 정확히 맞으면 reward 1, 틀리면 0을 주며, 검색된 문서 token은 gradient 계산에서 뺀다.
• 구현: 저자들은 학습 54,907개와 테스트 5,000개의 PaperSearchQA, 동의어를 붙여 재배포한 BioASQ factoid 1,609개, 검색 corpus와 BM25, e5 검색 index를 Hugging Face Hub에 공개했다. agent는 Qwen2.5 3B와 7B이고 A100(80GB) GPU 8장에서 GRPO로 150 step 학습했다. GitHub 공식 저장소에는 데이터 생성 pipeline(data_generation), baseline 구현(baselines), Search-R1에서 가져온 검색 서버와 veRL(RL 학습 framework) 학습 코드(search-r1)가 있다.
• 결과: 표 1의 정확도(정답 완전 일치, BM25 검색) 기준으로 Search-R1 학습 agent는 7B에서 PaperSearchQA 51.0, BioASQ 44.8로 RAG(36.5, 29.7)와 문헌 질의응답 agent PaperQA2(37.1, 32.8)를 앞섰다. 3B에서는 PaperSearchQA 41.6, BioASQ 35.5로 RAG(32.0, 30.0)보다 9.6점과 5.5점 높았다. 두 benchmark 평균으로는 검색 없는 chain-of-thought(단계별 추론을 쓰게 하는 prompt)보다 20.2점(3B)과 21.4점(7B) 높았고, Search-R1 agent에서 다른 용어로 바꿔 쓴 질문의 점수는 44.9로 원래 질문의 57.2보다 낮았다.
• 한계: 저자들은 LLM이 질문을 자동으로 만들어 사실과 다른 QA가 섞일 수 있고, 초록 하나만 보고 만든 질문에는 다른 정답이 있을 수 있다고 밝혔다. 범위는 single-hop factoid 질문, 초록 검색, 생물학과 의학 분야, 텍스트에 한정되고, 검색 없이도 모델이 15%에서 30% 질문에 답할 지식을 갖고 있었다. GRPO 학습은 불안정해 일부 run에서 reward가 0으로 무너졌고, 저자들은 학습된 agent를 실제 사용 전에 더 충분한 평가가 필요한 연구 prototype이라고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.