Letting AI Formulate the Research Question: Autonomous Research Agents

이 논문은 연구 주제 선정까지 AI에게 맡긴 자율 연구 에이전트가 사람 개입 없이 논문을 완성하는지 모든 실행을 공개하며 보인 문제다.

이 논문은 한마디로 연구 질문 자체를 AI가 세우도록 하고 모든 실행을 공개한 자율 연구 실험이다. 저자는 상용 코딩 에이전트에 지침 문서와 두 개 스킬만 주고 사람은 연구 영역을 한두 문장으로만 정했다. 연속된 다섯 실행 전부가 질문 설정부터 수정된 재계산 가능한 논문까지 노트북 계산만으로 완성됐고, 외부 AI 심사는 워크숍 수준으로 평가했다.

핵심 요약

• 시스템은 상용 코딩 에이전트에 지침 문서와 질문 설정, 동료 심사 두 스킬을 준 단순한 구성이다. 연속 다섯 실행 모두 질문 설정부터 수정된 재계산 가능한 논문까지 노트북 계산만으로 끝냈고 사람의 연구 개입은 없었다.
• 개발 13회 실행에서 연구 영역을 정하는 한두 문장을 바꾸자 후보 질문 주제가 크게 달라졌다. 사회 문제 힌트 한 문장을 넣었을 때 같은 모델의 후보 15개 중 14개가 사회 문제로 옮겨갔다.
• 평가 실행에서 에이전트는 아홉 개 사회 분야에 걸쳐 후보 질문 77개를 작성했고 모두 사회나 환경 문제였다. 대부분의 후보는 공개 검증 데이터가 없거나 기술 접근이 막힌 이유로 버려졌다.
• 비평가 모델은 매 실행에서 선택된 질문의 비교와 측정 방식을 바꿨고, 심사자는 모든 초안을 검증 입구에서 재실행해 보고된 숫자를 재현했다. 심사 결과 40개 지적은 모두 채택 또는 일부 채택되었다.
• 외부 AI 평가에서 Gemini 4 Argon은 다섯 논문 모두를 워크숍 수준으로 보고 전체 점수 평균 5.4를 줬으며, Muse Wonder는 더 엄격해 평균 4.1을 줬다. 두 심사자 모두 참신성과 일반성을 낮게 평가했다.
• 한계로 다섯 실행과 한 가지 연구 모델은 작은 표본이고 비교 실험이 없으며, 모든 평가가 AI 모델 판단에 의존한다. 사람 평가는 별도로 계획 중이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.