AI Can Learn Scientific Taste

이 논문은 연구 아이디어의 장기 영향력을 판단하고 그런 아이디어를 제안하는 능력(scientific taste)을 AI에 가르치는 문제를, 인용 수를 커뮤니티 반응 신호로 쓰는 RL 학습 방법 RLCF(Reinforcement Learning from Community Feedback)로 풀었다.

이 논문은 한마디로 인용 수로 만든 논문 쌍 선호 데이터로 영향력 판단 모델을 학습하고, 그 모델을 reward model로 써서 후속 연구 아이디어를 쓰는 모델까지 학습한 방법 논문이다. Scientific Judge는 같은 분야, 같은 시기의 두 논문 가운데 인용이 더 많을 쪽을 고르도록 GRPO(Group Relative Policy Optimization, 한 입력에 답 여러 개를 뽑아 group 안에서 견준 점수로 policy를 갱신하는 RL 방법)로 학습했고, Scientific Thinker는 Judge가 매긴 group 안 승률을 reward로 받아 학습했다. in-domain(학습 데이터와 같은 분포) test에서 SciJudge-Qwen3-30B(Qwen3-30B-A3B를 학습한 Judge)는 정확도 82.7%로 GPT-5.4 Thinking의 81.6%보다 높았고, 학습한 Judge는 2025년 논문, ICLR(기계학습 학회 International Conference on Learning Representations) 리뷰 점수, Altmetric(논문이 온라인에서 받은 관심을 재는 점수) 쌍에서도, CS(컴퓨터 과학) 논문만으로 따로 학습한 변형은 학습에 없던 분야에서도 base model보다 정확도가 높았다. 아이디어 평가는 주로 strong LLM 세 개의 다수결 판정에 기대며, 제안된 아이디어 일부를 실제로 구현해 보는 일은 저자들이 후속 과제로 남겼다.

핵심 요약

• 문제: 연구 아이디어의 장기 영향력을 판단하고 제안하는 능력(저자들은 scientific taste라고 부른다)은 주로 경험이 많은 연구자에게 몰려 있다. 지금의 AI Scientist 학습은 주로 문헌 검색과 실험 실행처럼 연구를 수행하는 능력에 맞춰져 있어, 어떤 연구 방향이 해 볼 만한지 고르는 능력은 남은 문제다. RLVR(정답이나 unit test로 확인하는 reward를 쓰는 RL)은 이런 열린 과제에 쓰기 어렵고, RLHF(사람 선호 표시로 reward model을 학습하는 RL)는 비용이 큰 사람 annotation에 기대며 개인 선호로는 커뮤니티 수준 선호를 담기 어렵다.
• 입력과 출력: Scientific Judge는 두 논문의 제목, 초록, 게시 날짜를 받아 추론 과정(reasoning trace)을 쓴 뒤 인용이 더 많을 논문을 A나 B로 답한다. Scientific Thinker는 출발점 논문(seed paper)의 제목과 초록을 받아 후속 연구 아이디어를 제목과 초록 꼴로 낸다. 논문 종류는 학습 방법 RLCF를 제안하고, 선호 쌍 데이터셋 SciJudgeBench와 학습한 모델로 실험한 방법 논문이다.
• 방법: RLCF는 같은 분야, 같은 해의 논문을 짝지어 인용이 뚜렷이 많은 쪽을 선호 답으로 삼고, 학습 쌍은 인용 차이가 8 이상이면서 높은 쪽 인용의 30% 이상인 것만 남긴다. Scientific Judge는 이 쌍으로 GRPO 학습을 하며 맞히면 1, 틀리면 0을 reward로 받는다. Scientific Thinker는 출발점 논문마다 아이디어 여러 개를 뽑고, Judge가 그 아이디어들을 round-robin(모든 쌍을 한 번씩 맞붙이는 방식)으로 비교해 낸 group 안 승률을 reward로 받는 Comparison-Based GRPO로 학습한다.
• 구현: 2024년까지 나온 arXiv 논문 2.1M편에서 CS(컴퓨터 과학), 수학, 물리, 기타 분야의 선호 쌍 720,341개를 만들었다. Judge는 Qwen2.5-Instruct 1.5B에서 32B까지 다섯 크기, Qwen3-4B-Instruct-2507, Qwen3-30B-A3B-Instruct-2507, Llama-3.1-8B-Instruct를 MS-SWIFT(fine-tuning framework)로 학습했고, Thinker는 2025년 1월에서 7월 사이에 나온 고인용 논문 4,000편을 출발점으로 Qwen3-30B-A3B-Thinking-2507과 Qwen3-4B-Thinking-2507을 학습했다. 공식 GitHub 저장소 맨 위에는 README(영어, 중국어), 논문 PDF, 그림 폴더(assets)가 있고, README는 결과 요약과 함께 모델과 데이터셋을 담은 Hugging Face collection 링크와 online demo 주소를 적었다.
• 결과: in-domain test 1,000쌍에서 SciJudge-Qwen3-30B는 A와 B 순서를 바꿔 두 번 모두 맞혀야 정답으로 치는 정확도 82.7%를 내, 표 3의 strong LLM baseline 네 개 가운데 가장 높은 GPT-5.4 Thinking(81.6%)보다 높았다. 학습 기간 뒤인 2025년 논문 904쌍에서는 Qwen3-4B가 학습 전 64.7%에서 학습 뒤 80.9%로, Qwen3-30B-A3B가 71.7%에서 83.1%로 올랐다. GPT-5.2-high, GLM-5, Gemini 3 Pro의 다수결 판정에서 SciJudge-Qwen3-4B를 reward model로 학습한 SciThinker-30B는 base policy(학습 전 policy 모델)를 in-domain 승률 81.5%로 이겼고, GPT-5.2, GLM-5, Gemini 3 Pro가 낸 아이디어와 견준 in-domain 평균 승률은 54.2%로 base policy의 30.3%보다 높았다.
• 한계: 저자들은 인용이 불완전한 커뮤니티 반응이라 처음에는 인용이 적다가 나중에 영향력이 커지는 논문이 있을 수 있고, 통제 비교로 저자, 기관, 주제 같은 단순한 설명을 줄였어도 인용 기반 신호에는 편향이 일부 남는다고 밝혔다. 아이디어 평가는 strong LLM 평가자에 주로 기대며, 제안된 아이디어 일부를 실제로 구현해 보는 일은 후속 과제로 남았다. Scientific Judge는 주로 제목과 초록으로 학습했고, 저자들은 관련 연구 절 같은 본문 맥락을 더 넣으면 판단이 나아질 수 있다고 적었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.