FARS: A Fully Automated Research System Deployed at Scale

완전 자동화 AI-for-AI 연구 시스템. 67개 세분 주제에 166편 논문을 생성하고 282건의 인간 리뷰로 품질을 평가한 최초의 대규모 공개 배포 결과.

FARS(Fully Automated Research System)는 아이데이션, 기획, 실험, 논문 작성의 4단계를 에이전트가 자동 수행하며 공유 워크스페이스로 조정하는 완전 자동화 AI 연구 시스템이다. 첫 공개 배포에서 67개 세분 AI/ML 주제에 166편의 완결된 논문을 생성했고, 모든 중간 산출물(제안, 코드, 로그, 결과, 원고)을 감사 가능한 코퍼스로 보존했다. 140편에 대한 282건의 전문가 리뷰 결과, review-worthy 수준의 연구 산출물을 대규모로 생성할 수 있음을 보였으며, Stanford Agentic Reviewer 기준 타 시스템 대비 최고 평점(5.00/10)을 받았다. 다만 실험 범위 협소, 방법론 한계, 무결성 이슈가 반복적 약점으로 확인되었다.

핵심 요약

• 완전 자동 4단계 파이프라인: Ideation -> Planning -> Experiment -> Writing, 단계별 전문 에이전트 + 공유 워크스페이스
• 67개 세분 AI/ML 주제, 166편 논문 생성 — 선택된 샘플이 아닌 전체 산출물 보존(성공/실패/부정 결과 모두)
• 282건의 구조화된 자원봉사 리뷰(140편 커버): 평점, 건전성, 발표, 기여도, 무결성 체크, LLM 사용 공개 포함
• Stanford Agentic Reviewer 교차 비교: FARS 5.00/10(165편)으로 DeepScientist(4.13), ScientistOne(4.00) 등 기존 시스템 모두 앞섬
• 인간 리뷰 평균 3.23/10 — 자동 리뷰어보다 엄격하지만 방향성은 일치, 11.4%가 자동 리뷰 기준 accept 임계값 도달
• 반복적 실패 모드: 실험 범위 협소, 방법론 한계, 무결성 이슈(claim-artifact 불일치 등) — 표면 발표가 아닌 기여도/실험 충분성/서술 충실성이 병목

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.