An Axiomatic Benchmark for Evaluation of Scientific Novelty Metrics

이 논문은 참신성(novelty) 지표가 주로 리뷰 점수나 인용 수처럼 다른 요인이 섞인 신호로 검증되던 문제를, 비교 대상 논문 집합을 통제해 바꿨을 때 점수가 세 가지 공리(axiom)대로 움직이는지 보는 benchmark로 풀었다.

이 논문은 한마디로 논문 참신성 지표가 비교 대상 논문 집합의 변화에 맞게 점수를 바꾸는지 시험하는 공리 기반 benchmark다. 저자들은 ICLR 학회 리뷰어의 참신성 점수가 논문 품질과 엉켜 있어 검증 기준으로 부족하다는 점을 먼저 보이고, Redundancy(중복), Relevance(관련성), Temporality(시간) 세 공리를 probe(점수 변화를 확인하는 시험 항목)로 만들었다. embedding 지표부터 AI scientist의 참신성 판정까지 10개 시스템을 비교했고, 복사본과 paraphrase 같은 표면 중복은 대체로 잡혔지만 주장 수준의 중복과 이후 연구에 흡수되는지를 보는 시간 판단은 약했다. 저자들은 embedding 방식과 LLM(대규모 언어 모델) 방식이 각자 강점이 있어 둘을 결합해야 한다고 결론지었다.

핵심 요약

• 문제: 논문의 참신성(novelty)을 자동으로 재는 지표는 AI scientist가 이미 탐구된 아이디어에 계산을 쓰는 낭비를 막는 데 필요하지만, 기존 지표는 대체로 인용 수나 리뷰 점수처럼 다른 요인이 섞인 신호로 검증되었다. 저자들이 ICLR 2022와 2023에서 리뷰어 합의가 높은 참신성 상위 100편과 하위 100편을 뽑아 확인하자, 이 상하위 구분이 채택 여부와 93.5%(기술 참신성), 97.0%(실험 참신성) 일치해 참신성 점수가 논문 품질과 엉켜 있었다.
• 입력과 출력: 이 논문은 정답 참신성 라벨 없이 참신성 지표를 비교하는 benchmark다. 평가 대상 지표에 논문 한 편(focal paper)과 비교할 선행 논문 집합(reference pool)을 주고 pool을 정해진 방식으로 바꿨을 때, 점수가 기대한 방향으로 움직이는지를 논문마다 통과와 실패로 판정해 probe마다 통과율로 낸다. benchmark는 NLP(자연어 처리), 컴퓨터 비전, 생의학 AI 세 분야의 과제 10개로 이루어지고, 과제마다 focal paper 100편을 무작위로 뽑는다.
• 방법: 공리 세 개를 probe로 시험한다. Redundancy 공리는 pool이 논문 내용을 더 많이 담을수록 점수가 내려가야 한다는 것이고, 정확한 복사본, paraphrase, 논문의 원자 주장(atomic claim)을 25%에서 100%까지 다른 pool 논문에 나눠 심는 probe로 잰다. Relevance 공리는 pool을 다른 분야로 바꾸거나 인용 논문을 빼면 점수가 올라가야 한다는 것이고, Temporality 공리는 pool의 시간 구간을 뒤로 옮기면 점수가 내려가야 한다는 것이다.
• 구현: 데이터는 Hugging Face의 PapersWithCode archive(2025년 7월 29일자)에서 과제마다 약 1,500편이 태그된 과제를 골라 만들었고, 참고문헌은 Semantic Scholar API로 받았다. 평가한 시스템은 embedding 지표인 Yin, RND(relative neighborhood density), SemNovel, FastTextLOF와 NovaScore, AI Scientist judge, RAG-Novelty, AutoResearchClaw의 lexical novelty gate인 ARC, 점수 대신 순위나 글로 판단을 내는 Si pairwise tournament와 OpenNovelty를 합친 10개이고, 도구로 검색하는 시스템은 sandbox로 검색이 만든 pool에만 닿게 했다. 저자들은 arXiv ID(논문 식별번호), 파생 파일, 논문 원문을 받아 오는 script를 공개한다고 밝혔고, API 비용은 모두 합쳐 400달러 조금 아래였다.
• 결과: Yin과 RND 같은 embedding 지표는 정확한 복사본(1.00, 0.99)과 paraphrase(0.99, 0.97)를 거의 다 잡았지만, 주장 25%를 심은 경우는 0.66과 0.53에 머물렀다. LLM이 검색 결과와 함께 읽는 RAG-Novelty는 정확한 복사본 probe에서도 0.28에 그쳐 redundancy probe를 모두 실패했다. 시간 공리의 단조 감소 probe에서는 점수를 내는 8개 시스템 가운데 가장 높은 값도 0.24였고, 저자들은 표면 중복은 대체로 풀렸으며 개념 수준 중복은 아직 열린 문제라고 정리했다.
• 한계: 저자들은 pool이 과제마다 천에서 이천 편 규모라 실제 문헌 규모에서의 성능은 시험할 수 없고, 과제가 모두 AI 연구 과제라는 점을 한계로 밝혔다. sandbox는 LLM judge가 검색하는 자료만 통제하고 모델이 이미 아는 지식은 그대로 남으며, 공리는 필요조건이라 모든 probe를 통과해도 좋은 참신성 판단 도구라는 보장은 없다. AI Scientist judge와 Si tournament는 과제 3개, OpenNovelty는 과제 2개에서 시험했고, Si tournament와 OpenNovelty는 redundancy 공리만 시험받았다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.