MIR: Methodology Inspiration Retrieval for Scientific Research Problems

이 논문은 연구 문제와 동기만 보고 해법의 방법론에 영감을 줄 선행 논문을 찾는 MIR(Methodology Inspiration Retrieval) task를 정의하고, 방법론 인용을 표시한 citation graph로 retriever를 fine-tuning한 뒤 LLM으로 순위를 다시 매겨 풀었다.

이 논문은 한마디로 연구 아이디어 생성에 붙일 문헌을 의미 유사도에 더해 방법론 인용 관계로 찾도록 retriever를 학습시키는 방법과, 그 학습과 평가에 쓸 dataset MIR-MultiCite를 함께 낸 연구다. 저자들은 인용 의도 dataset MultiCite를 넓혀 연구 제안 929개를 만들고, uses나 extends 의도의 인용을 방법론 영감으로 표시한 MAG(Methodology Adjacency Graph)에서 triplet 세 종류를 뽑아 dense retriever(글을 vector로 바꿔 가까운 글을 찾는 검색 모델)를 fine-tuning했다. training set의 인용 논문까지 넣은 Extended Corpus에서 fine-tuning한 Stella 1.5B의 Recall@3(ground truth 방법론 관련 논문 가운데 상위 3개 결과에 든 비율)은 54.73에서 60.11로, mAP(mean Average Precision, ground truth 논문이 나온 순위마다 잰 precision의 평균)는 49.08에서 56.89로 올랐다. test set의 인용 논문으로 만든 Restricted Corpus에서는 상위 10개를 Gemini 1.5 Pro로 다시 매기는 few-shot MIR-Agent가 Recall@3을 66.95에서 71.45로 더 올렸다.

핵심 요약

• 문제: seed 논문(아이디어 생성의 출발점인 논문)의 초록으로 문헌을 찾는 기존 아이디어 생성 방법에서는 초록에 든 방법론과 결과가 검색을 seed 논문 쪽으로 치우치게 해 아이디어의 novelty를 줄일 수 있다. 흔히 쓰는 retriever와 검색 API는 문장 의미 유사도나 일반적인 문서 관계에 기대어, 'model compression' 문제에 'sentence compression' 논문을 가져오듯 낱말만 겹치는 논문을 찾을 수 있다. seed 논문의 인용 논문을 쓸 수 있다고 가정한 연구도 있어, 저자들은 연구 문제와 동기만 query로 주는 실제 상황을 목표로 잡았다.
• 입력과 출력: 이 논문은 새 task와 dataset을 정의하고 retriever 학습 방법과 LLM re-ranking 방법을 낸 method 논문이다. 입력은 방법론 언급을 뺀 연구 제안(연구 문제와 동기)이고, 출력은 후보 논문 집합에서 해법을 만드는 데 쓸모 있는 순서로 고른 상위 k개 논문이며, 추론 때 retriever는 인용 정보 없이 제안 하나만 받는다. dataset MIR-MultiCite는 인용 문맥 12,653개에 인용 의도 8종을 단 전산언어학 dataset MultiCite를 넓혀 만들었고, 제안을 시간 순으로 2019년 전 704개는 training, 2019년 1월에서 6월 86개는 dev, 그 뒤 139개는 test로 나눴다.
• 방법: MAG는 연구 제안을 node로, 인용 논문을 이웃으로 두고 edge에 인용 의도와 인용 문맥을 달며, uses와 extends 의도를 방법론 인용으로 본다. retriever는 제안과 방법론 인용 논문, 방법론 인용 문맥과 제안, 그 인용 문맥과 인용 논문을 각각 가깝게 하는 triplet 세 개를 한 batch에 넣고 L2 거리 triplet margin loss의 합으로 학습하며, 첫째 triplet의 hard negative는 제안의 인용 목록 밖에서 과학 개체명으로 잰 domain 유사도가 가장 높은 논문이고, 이를 무작위 soft negative와 비율 α로 섞는다. LLM re-ranking은 상위 k개를 하나씩 관련 있음과 없음으로 판정하는 Pointwise, 그리고 제안의 하위 문제와 일반 실행 계획을 먼저 쓰고 논문마다 적용 가능성을 분석한 뒤 판정하는 MIR-Agent이며, 관련 있다고 판정한 논문을 원래 순서대로 앞에 둔다.
• 구현: 연구 제안은 Gemini-1.5-pro-001로 인용하는 쪽 논문의 초록에서 뽑았고, training data에는 arXiv 전산언어학 논문 약 60k편에서 SciBERT(과학 논문으로 사전 학습한 언어 모델) 기반 인용 의도 분류기로 weak label(분류기가 자동으로 단 label)을 붙인 제안 51,021개 가운데 일부를 더했다. retriever는 NVIDIA V100 GPU(32GB) 한 장에서 SPECTER2(citation 관계로 학습한 과학 논문 embedding 모델), Stella 400M, Stella 1.5B를 fine-tuning했고 Stella 1.5B에는 LoRA(Low-Rank Adaptation, 원래 가중치는 두고 작은 low-rank 행렬을 더해 학습하는 fine-tuning 방법)를 썼으며, re-ranking에는 Llama 3.1 70B Instruct와 Gemini 1.5 Pro를 썼다. 공식 저장소(Anikethh/Methodology-Inspiration-Retrieval)의 README는 이 저장소가 논문에 쓴 dataset(연구 제안, 인용 논문, 인용 문맥, 인용 의도와 training, dev, test, 2024년 중반까지 넓힌 augmented training split)을 담는다고 밝히고, 맨 위 목록에는 data와 assets 폴더가 있다.
• 결과: MIR-MultiCite test set에서 Stella 1.5B를 fine-tuning하자 Extended Corpus(training set 인용 논문 전부와 test 제안의 ground truth 인용 논문을 합친 후보 집합)의 Recall@3은 54.73에서 60.11로, mAP는 49.08에서 56.89로 올랐다. Restricted Corpus에서 fine-tuning한 Stella 1.5B의 상위 10개를 Gemini 1.5 Pro의 few-shot MIR-Agent로 다시 매기자 Recall@3은 66.95에서 71.45로, mAP는 64.24에서 69.02로 올랐고, 상위 논문의 full text를 구할 수 있는 test 제안 75개에서는 full text를 넣은 같은 설정이 Recall@3을 66.84에서 72.49로 올렸다. LLM이 제안마다 만든 방법론 아이디어 5개 가운데 원 논문 초록의 방법론과 맞는 비율을 평균한 IA-Score는 MIR로 찾은 초록을 붙였을 때 0.170, 가장 좋은 baseline retriever의 초록을 붙였을 때 0.142였다.
• 한계: dataset은 전산언어학 분야의 영어 논문에 한정되고, retriever는 인용 논문의 초록으로 학습하며 full text는 상위 k개 re-ranking에 쓴다. 저자들은 MultiCite의 원래 사람 annotation이 방법론 인용을 가끔 빠뜨리거나 사소한 인용(예: GPT-4 사용)을 넣은 한계를 밝혔다. 가장 좋은 설정(full text를 넣은 MIR-Agent)에서 Recall@5가 낮은 제안 15개(관련 논문 39편)를 분석하니 annotation이 틀리거나 빠진 경우 17건, 저자가 다른 연구 방향을 택한 주관성 사례 7건, pipeline의 잘못된 판정 15건이었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.