CLEAR: Structured Specifications for Controllable Long-Horizon ML Research Engineering

이 논문은 논문을 그대로 실행하는 대신 사람이 검증 가능한 구조화 명세를 먼저 만들어 기계학습 연구 엔지니어링의 오류 전파를 막았다.

이 논문은 한마디로 기계학습 연구 엔지니어링 자동화를 명세 중심 구조로 바꿔 비용과 오류를 함께 줄인 연구다. 기존 시스템은 논문 해석과 코드 생성이 붙어 있어 오류가 연쇄했다. CLEAR는 연구 산출물을 사람이 검증할 수 있는 실행 명세로 바꾼 뒤 부분별로 코드를 만들고 고친다. MLE-Bench Lite에서 77.27%의 메달 획득률을 냈다.

핵심 요약

• 저자들은 연구 문서가 실행 가능한 명세가 아니어서 구현 결정이 생성 순간으로 미뤄지는 것이 오류 연쇄의 근본 원인이라고 진단했다.
• CLEAR는 이질적인 연구 산출물을 사람이 검증할 수 있는 구조화 실행 명세로 먼저 바꾼 뒤 실행 코드를 생성했다.
• 명세를 나눈 국소 단위로 생성과 수리를 하므로 전체를 다시 만드는 일을 피했다.
• MLE-Bench Lite에서 CLEAR는 77.27%의 메달 획득률을 달성하고 대표 과제에서 수리 반복을 크게 줄였다.
• AiScientist와 비교해 비용을 35.16% 줄이면서 경쟁 가능한 성적을 유지했다.
• 한 분석에서는 평균 실행 비용이 $7 수준으로 나타나 더 비싼 방법 대비 비용을 85.6% 줄였다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.