CycleResearcher: Improving Automated Research via Automated Review

이 논문은 상용 LLM에 기댄 연구 agent를 RL로 학습시키기 어려운 문제를, open-source LLM으로 논문을 쓰는 policy model CycleResearcher와 동료 심사를 흉내 내는 reward model CycleReviewer를 만들고 둘을 반복 preference 학습으로 묶어 풀었다.

이 논문은 한마디로 open-source LLM을 연구 단계의 policy model과 심사 단계의 reward model로 post-training해 연구, 심사, 수정 cycle을 학습시키는 방법 논문이다. 저자들은 ICLR(International Conference on Learning Representations) 2024 심사 기록으로 만든 Review-5k와 학회 채택 논문으로 만든 Research-14k를 새로 모아 CycleReviewer와 CycleResearcher(12B, 72B, 123B)를 학습했다. CycleReviewer로 매긴 평균 점수에서 CycleResearcher-12B 논문은 5.36으로 arXiv preprint 5.24보다 높고 학회 채택 논문 5.69보다 낮았으며, 사람 전문가 평가에서는 4.8로 AI Scientist 3.6보다 높았다. 저자들은 생성 논문의 실험 결과가 실제 실험 없이 모델이 지어낸 값이라고 명시했다.

핵심 요약

• 문제: 연구 자동화 agent는 주로 상용 LLM으로 만들어져, 연구 전 과정을 RL(강화학습)의 policy 최적화 문제로 효과적으로 다루기 어려웠다. 저자들은 동료 심사 수준의 연구 결과물을 만들고 다듬는 일이 여전히 대부분 미해결로 남아 있고, 학문적 타당성과 참신성에 필요한 반복 피드백을 통합한 시도도 적다고 보았다.
• 입력과 출력: CycleResearcher는 모든 참고문헌과 그 초록을 담은 bib 파일을 받아 outline과 본문을 번갈아 생성하고, 동기와 아이디어부터 실험 설계와 모의 결과, 결론까지 담은 LaTeX 논문 한 편을 낸다. CycleReviewer는 완성된 논문을 받아 여러 reviewer를 흉내 내며 강점과 약점, soundness(타당성), presentation(표현), contribution(기여) 점수, 1에서 10점의 overall score를 내고, 그 평균을 최종 평가로 낸다. 논문 종류는 학습 framework, dataset 두 개, 학습한 모델을 함께 낸 방법 논문이다.
• 방법: 반복 SimPO(Simple Preference Optimization, reference model 없이 길이로 정규화한 reward로 선호 쌍을 학습하는 방법)로 연구, 심사, 수정 cycle을 흉내 내며, 학습을 빠르게 하려고 실험 결과는 실제 실험 대신 모델이 지어내게 했다. arXiv의 최근 machine learning 논문 4,152편에서 참고문헌 부분만 knowledge base로 남기고, CycleResearcher가 temperature 0.4로 논문을 세 번 뽑으면 CycleReviewer 평균 점수가 가장 높은 것을 positive, 가장 낮은 것을 negative로 삼아 preference pair를 만든다. SimPO loss에 NLL(negative log-likelihood) loss를 더해 학습을 안정시키고, round마다 전체 dataset의 3분의 1을 뽑아 overfitting을 줄이며, 새 model로 이 과정을 되풀이한다.
• 구현: CycleReviewer는 Mistral-Large-2에 LoRA-GA(low-rank adaptation with gradient approximation)를 적용해 H100 80G 8장 cluster에서 Review-5k로 12 epoch 학습했다. CycleResearcher는 Mistral-Nemo-12B, Qwen2.5-Instruct-72B, Mistral-Large-2 123B를 H100 8장에서 Research-14k로 12,000 step 학습한 12B, 72B, 123B 세 크기다. Review-5k는 ICLR 2024 논문 4,991편과 reviewer 의견 16,000개 넘게 담고, Research-14k는 2022년부터 2024년까지 주요 국제 machine learning 학회에 채택된 논문 14,911편을 모아 거른 뒤 학습 표본 12,696개와 test 표본 802개로 나눴다.
• 결과: Review-5k test set에서 같은 논문의 다른 reviewer 점수 평균을 정답 대신 쓴 Proxy MSE(평균 제곱 오차)와 Proxy MAE(평균 절대 오차)는 CycleReviewer(123B)가 1.43과 0.92로 개별 사람 reviewer의 2.34와 1.16보다 작았고, 채택 판정 정확도는 CycleReviewer가 74.24%, 개별 사람 reviewer가 75.40%였다. CycleReviewer로 매긴 평균 점수는 CycleResearcher-12B 논문이 5.36(채택률 35.13%)으로 arXiv preprint 5.24보다 높고 학회 채택 논문 5.69보다 낮았으며, GPT-4o와 Claude-3.5로 만든 AI Scientist 논문은 4.31이었다. NLP(자연어 처리) 전문가 세 명이 rejection sampling N=100으로 고른 CycleResearcher-12B 논문과 AI Scientist 논문을 10편씩 읽은 사람 평가에서는 overall 점수가 4.8과 3.6이었고, CycleResearcher의 점수는 ICLR 2024 제출 논문 5.5와 채택 논문 6.4보다 낮았다.
• 한계: 저자들은 이 연구의 생성 논문에 나온 실험 결과가 CycleResearcher가 지어낸 값이라 검증 가능하고 재현 가능한 과학 지식을 만드는 능력이 제한된다고 밝혔고, 실제 실험이 들어간 것은 AI Scientist가 GPT-o1으로 실험을 구현한 부록 I의 논문 한 편이다. 모델이 설계한 실험은 여전히 사람 연구자나 다른 agent가 수행해야 하고, 현재 구현은 주로 machine learning 연구에 맞춰져 있으며, CycleResearcher의 지식은 2024년 4월까지이고 CycleReviewer는 지식이 2024년 1월까지인 offline 모델이라 새 논문의 참신성 판단이 어렵다. 저자들은 policy model이 reward model의 허점을 노려 연구 품질을 실제로 높이는 대신 reward만 올리는 reward hacking 위험도 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.