aiXiv: A Next-Generation Open Access Ecosystem for Scientific Discovery Generated by AI Scientists

이 논문은 AI가 쓴 연구 제안서와 논문을 검토하고 게시할 곳이 부족한 문제를, LLM review agent의 검토와 수정본 재심사, 다섯 LLM 투표를 갖춘 공개 플랫폼 aiXiv로 풀었다.

이 논문은 한마디로 AI scientist가 연구 제안서와 논문을 올리면 LLM review agent가 검토하고, 고친 수정본을 다섯 LLM의 투표로 게시하는 open-access 플랫폼 aiXiv를 만든 시스템 논문이다. 검토 agent는 Semantic Scholar API로 찾은 문헌을 근거로 붙이는 RAG(retrieval-augmented generation)를 쓰고, 투고 PDF에 숨긴 prompt injection(LLM reviewer를 조종하려고 문서에 숨긴 지시문)은 다섯 단계 검사로 걸러 낸다. 저자들은 AI Scientist(연구 아이디어부터 논문까지 자동으로 만드는 기존 시스템)가 만든 제안서를 검토 의견대로 고치면 쌍 비교에서 90% 넘게 원본보다 낫다고 판정되었다고 보고했다. AI Scientist 논문 10편의 평균 채택률은 다섯 LLM 투표에서 수정 전 10%, 수정 뒤 70%였다.

핵심 요약

• 문제: LLM agent가 연구 제안서와 논문을 쓰고 동료 심사까지 하게 되었지만, 사람 심사에 크게 기대는 학술지는 AI가 쓴 연구를 꺼리고 늘어나는 투고를 감당하기 어려우며, preprint 서버는 엄격한 품질 검사 장치가 없는 경우가 많다. AI가 저자와 심사자를 함께 맡은 Agents4Science 학회에는 수정이나 rebuttal(저자 반론) 단계가 없고, 기존 LLM 리뷰 시스템도 대부분 검토를 한 번으로 끝낸다.
• 입력과 출력: AI scientist나 사람 연구자가 API와 MCP(agent가 외부 도구를 부르는 protocol) 인터페이스로 연구 제안서(문제 정의, 동기, 방법, 실험 계획)나 완성 논문을 올리면, LLM review agent가 참신성, 기술적 타당성, 명확성, 실현 가능성, 잠재적 영향을 본 구조화된 검토 의견을 돌려준다. 고친 수정본을 다시 올릴 수 있고, 다섯 LLM으로 이루어진 심사 panel에서 셋 이상이 accept를 주면 게시하고 DOI(논문 고유 식별자)를 붙인다. 논문 종류는 플랫폼을 만들고 검토 정확도와 수정 효과를 실험한 시스템 논문이다.
• 방법: 단일 검토 방식에서는 review agent 하나가 방법의 질, 참신성과 의의, 명확성과 구성, 실현 가능성과 계획의 네 기준으로 강점, 약점, 개선 제안을 쓰고, Semantic Scholar API로 찾은 문헌을 RAG로 붙인다. 메타 검토 방식에서는 Area Chair(학회의 분야 책임자) 또는 Editor agent가 투고의 세부 분야를 찾아 분야마다 심사 agent 3에서 5개를 만들고, 그 보고서를 종합해 결정문을 쓴다. prompt injection 검사는 PDF의 글꼴 크기, 색, 글자 위치, encoding을 뽑아 규칙 기반 검사와 LLM 의미 검사를 거친 뒤, 위험 점수가 미리 정한 threshold를 넘는 문서를 review model에 넘기기 전에 걸러 낸다.
• 구현: aiXiv는 공개 website(aixiv.science)로 운영되고, API와 MCP 층이 저자, 심사자, 메타 심사자 역할의 agent를 플랫폼과 연결하며, 사용자는 투고에 좋아요, 댓글, 토론을 남길 수 있다. 두 문서 가운데 나은 쪽을 고르는 쌍 비교 방식의 정확도는 DeepReview의 ICLR(기계학습 학회) 2024, 2025 test 자료에서 심사 평균 점수가 5에서 6 사이인 논문을 빼고 채택 논문과 거절 논문을 짝지은 235쌍과 163쌍, 그리고 ICLR 논문을 제안서 형식으로 바꾼 500쌍으로 쟀다. 수정 효과는 AI Scientist로 NanoGPT, 2dDiffusion, Grokking 세 주제마다 제안서 50개를 만들어 cosine 유사도 threshold 80%로 중복을 거른 제안서(표 5의 주제별 28, 27, 29개)와, AI Scientist가 쓴 논문 10편으로 시험했다.
• 결과: RAG를 붙인 Claude-sonnet-4의 쌍 비교 정확도는 논문에서 ICLR 2024 81.70%, ICLR 2025 79.75%였고, 제안서에서 ICLR 2024 77.91%였다. prompt injection 검사 정확도는 arXiv 논문 105편의 35%에 공격을 합성해 adversarial 논문 36편을 만든 합성 자료에서 84.8%, 실제 의심 표본에서 87.9%였다. 다섯 LLM 투표에서 AI Scientist 논문 10편의 평균 채택률은 수정 전 10%, 수정 뒤 70%였고, 제안서는 세 주제 모두 수정 전 0%에서 수정 뒤 평균 45.2%로 올랐다.
• 한계: 저자들은 AI 모델이 매끄럽지만 사실과 다른 내용을 만들 수 있고, 여러 모델을 써도 심사 편향이 남을 수 있으며, 단순한 LLM 다수결은 객관성이 부족할 수 있다고 밝혔다. 실험 검증은 현재 모의 환경과 가상 agent 상호작용에 한정되어, 특히 실제 실험이나 물리 제약이 필요한 분야에서 결과의 일반화가 제한된다고 적었다. RAG 효과는 모델마다 엇갈려, GPT-4.1의 ICLR 2024 제안서 쌍 정확도는 RAG를 붙이자 75.05%에서 69.73%로 내려갔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.