Toward Autonomous Long-Horizon Engineering for ML Research

AiScientist 시스템은 구조화된 오케스트레이션과 지속적 상태 연속성을 통합해 자율적이고 장기 지평의 ML 연구 엔지니어링을 가능하게 한다.

AiScientist 시스템은 구조화된 오케스트레이션과 지속적 상태 연속성을 통합해 자율적이고 장기 지평의 ML 연구 엔지니어링을 가능하게 한다. 논문 재현(PaperBench)과 지속적 실험 개선(MLE-Bench Lite)에서 향상된 성능을 달성하며, 기존 베이스라인을 능가하고 비용 효율성을 입증한다.

핵심 요약

• 현재 자율 AI는 여러 단계에 걸쳐 지속적이고 일관된 진척을 요구하는, 수 시간에서 수 일에 이르는 장기 지평 과제에서 어려움을 겪는다.
• ML 연구 논문은 흔히 명세가 부족해, 에이전트가 누락된 구현 세부를 추론하고 복잡한 환경 설정을 관리해야 한다.
• 지연되고 혼란된 실험 피드백을 해석하고 반복 주기 전반에 걸쳐 프로젝트 상태 연속성을 유지하는 것은 상당한 도전을 제기한다.
• AiScientist는 '두꺼운 상태에 대한 얇은 제어'를 구현해, 최상위 Orchestrator는 간결한 요약을 사용하고 상세한 프로젝트 정보는 권한 범위가 지정된 공유 워크스페이스에 위치한다.
• 산출물을 매개로 한 조율을 위해 'File-as-Bus' 프로토콜을 사용하며, 공유 워크스페이스의 구조화된 조직을 활용해 지속적 상태와 누적 진척을 보장한다.
• 계층적 오케스트레이션 모델은 Orchestrator가 호출 가능한 도구로 노출된 Tier-1 전문 에이전트(예: 논문 이해, 구현, 실험 전문가)에게 과제를 위임하도록 한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.