AutoResearch AI: Towards AI-Powered Research Automation for Scientific Discovery

이 논문은 연구 자동화 system들을 같은 틀로 비교하기 어려운 문제를, 사람과 AI가 통제, 실행, 검증을 나눠 맡는 정도에 따라 L0부터 L4까지 단계를 나눈 workflow 중심 분류로 풀었다.

이 논문은 한마디로 AI 연구 자동화(AutoResearch)를 workflow 단위로 정리한 survey다. 저자들은 L0부터 L4까지 다섯 자율성 단계를 정의하고, 사람이 방향을 잡는 L1과 L2를 Vibe Research로 불렀다. 문헌 근거, 가설과 계획, 실험과 tool use, 검증과 review, 보고의 다섯 단계마다 쓰이는 방식을 나누고, novelty, validity, impact, reliability, provenance 다섯 평가 기준을 제안했다. 저자들은 system을 보여 준 역할에 맞는 가장 낮은 단계에 두는 규칙으로 보면 지금 system이 L1과 L2에 몰려 있고, 가장 빠르게 늘어나는 곳은 L2 안이라고 정리했다.

핵심 요약

• 문제: AI 연구 system은 문헌 근거, 가설, 실험, 검증, 보고로 이어지는 긴 workflow까지 넓어졌지만, 자율성 수준, 분야, 실행 환경, 검증 방식, 사람 감독 정도가 system마다 달라 한 틀로 비교하기 어렵다. 저자들은 단계를 길게 이은 pipeline이 과학적 자율성으로 오해될 수 있고, 지금 system은 검색, 초안, coding에 강한 반면 검증, 기각, 재현성에서 훨씬 약하다고 짚었다.
• 조사 범위: 이 논문은 survey다. Table 1은 survey, workflow 수준 system, open-source project를 나눠 system과 project의 자율성 단계를 표시했고, Table 2는 평가 도구를 평가 역할에 따라 discovery, 실험과 검증, deep research와 synthesis, review와 provenance 네 종류로 나눴다. 공식 저장소(Mr-Tieguigui/Autoresearch)는 README 기준으로 survey 그림을 보여 주는 정적 project page이며, index.html과 style, script, 그림을 담은 static 폴더로 이루어져 있다.
• 분류: 저자들은 사람과 AI가 통제, 실행, 검증을 어떻게 나눠 맡는지에 따라 L0(사람만)부터 L4(AI 자율)까지 다섯 단계를 정의하고, 사람이 방향을 잡는 L1과 L2를 Vibe Research라고 불렀다. L2는 한 단계 실행(L2-S), 대화형 workflow(L2-I), 사람 검증 아래의 pipeline(L2-P)으로 다시 나눴고, system은 보여 준 workflow 역할에 맞는 가장 낮은 단계에 둔다는 보수적 배치 규칙을 썼다.
• workflow 단계: 저자들은 기술 기반을 문헌 근거, 가설과 계획, 실험과 tool use, feedback과 검증, 보고의 다섯 단계로 나누고, 단계마다 반복되는 방식을 정리했다. 예를 들어 문헌 근거는 search 중심, evidence 중심, structure 중심, literature-memory 네 방식으로, 검증은 실행에 붙은 rerun, critique를 거친 검증, 전문가나 시간이 지난 뒤의 검증 세 방식으로 나눴다.
• 평가와 분야: 저자들은 과제 완료 대신 결과의 과학적 신뢰도를 보도록 novelty, validity, impact, reliability, provenance 다섯 평가 기준을 제안했다. 분야별로는 산출물을 실행하고 재현하기 쉬운 computational and formal sciences가 지금 관찰된 가장 높은 수준에 있고, 의학과 임상 연구, 경제와 사회과학은 L2 초중반에 있다고 정리했다. 저자들은 어느 분야도 L3이나 L4의 견고한 과학 자율성을 보인 설득력 있는 증거를 아직 내지 못했다고 결론냈다.
• 한계: Table 1은 모든 작업을 모은 목록 대신 구조상 중요한 작업을 고른 표이고, 단계 표시는 성능 순위 대신 각 작업의 workflow 범위, 실행 능력, 사람 감독 정도로 정한 주된 자율성 단계다. 저자들은 novelty를 측정할 합의된 정의가 아직 없어서, 지금의 평가가 이전 논문과의 차이, LLM이 채점하는 LLM-as-a-judge, 사람 전문가 판단 같은 약한 대리 지표에 기댄다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.