Aster: Autonomous Scientific Discovery over 20x Faster Than Existing Methods

이 논문은 자동 발견 framework가 발견 하나에 흔히 수백에서 수천 번 반복해야 하는 문제를 적은 반복으로 프로그램을 개선하는 agent Aster로 풀었다.

이 논문은 한마디로 초기 프로그램과 평가 script를 받아 적은 반복으로 프로그램을 개선하는 과학 발견 agent Aster의 기술 보고서다. circle packing에서 OpenEvolve가 115번 반복해 얻은 점수를 같은 모델 구성의 Aster가 5번 만에 넘었다고 저자가 보고했다. 수학, GPU kernel, 생물학, 언어 모델 학습 과제에서 이전 최고 기록을 넘었고, ZAPBench(Zebrafish Activity Prediction Benchmark, 제브라피시 뇌 전체의 신경 활동 예측)에서는 사람 최고 성능과 같은 MAE(Mean Average Error)를 냈다. 방법 설명은 개요 수준이고, Aster는 asterlab.ai의 web interface와 API로 쓸 수 있다.

핵심 요약

• 문제: LLM으로 코드를 반복 개선하는 기존 자동 발견 framework는 발견 하나에 흔히 수백에서 수천 번의 반복이 필요해서, 평가 시간이 짧은 문제로 쓰임이 제한된다고 저자는 보았다. 몇 시간짜리 ML 학습처럼 평가가 긴 과제에서는 수천 번을 반복하는 시간이 감당하기 어려운 수준이 된다.
• 입력과 출력: 이 논문은 asterlab.ai의 web interface와 API로 쓸 수 있는 AI agent 시스템 Aster(저자 소속 Aster AI Labs)를 소개하고 여러 과제 결과를 보고한 시스템 논문이다. 사용자는 과제 prompt, 초기 프로그램, 성능을 재는 평가 script를 주고, Aster는 개선된 프로그램을 낸다. Aster가 만든 프로그램(겹침 최적화, 단일 세포 denoising, TriMul(Triangular Matrix Multiplication) kernel, NanoGPT 변경분, ZAPBench 모델)은 부록에 실렸다.
• 방법: 원문이 밝힌 동작은 LLM이 기존 프로그램과 prompt로 새 프로그램을 만들고, evaluator가 점수를 매기고, 결과를 database에 저장하는 반복이다. 기존 framework와 같은 입력(초기 프로그램, evaluator, prompt)을 쓰면서 필요한 반복 수를 줄여, 몇 시간씩 걸리는 학습 평가까지 다룰 수 있게 하는 것이 목표다. 원문의 방법 설명은 Figure 2의 개요 수준에 머문다.
• 구현: 원문이 모델 구성을 밝힌 실험은 circle packing의 두 run으로, OpenEvolve와의 속도 비교 run은 같은 모델 구성(Gemini 2.0 Flash 80%, Claude 3.7 Sonnet 20%)을, 알려진 최고값에 닿은 run은 Aster 기본 모델 구성(모델 이름 미기재)을 썼다. 평가 script와 prompt 상당수는 TTT-Discover(Table 1의 이전 AI 최고 기록을 낸 연구)의 저장소에서 가져와 고쳐 썼고, TriMul은 NVIDIA H100에서, ZAPBench 평가는 NVIDIA T4 GPU에서 돌렸다. 원문이 밝힌 이용 경로는 asterlab.ai의 web interface와 API다.
• 결과: 원 26개 배치(circle packing)에서 OpenEvolve가 115번 반복해 얻은 2.634를 같은 모델 구성의 Aster는 5번 만에 2.6353으로 넘었고, 기본 모델 구성의 Aster는 6번 만에 알려진 최고값 2.635983에 닿았다. Erdős 최소 겹침 문제는 40번 반복으로 0.380874(TTT-Discover 0.380876), 단일 세포 denoising은 30번으로 0.711(TTT-Discover 0.709), TriMul kernel은 70번으로 1114 µs(TTT-Discover 1161 µs)를 냈고, NanoGPT Speedrun 기록은 8번 반복으로 96.8초에서 95.2초로 줄였다. ZAPBench에서는 34번 반복 끝에 사람 최고 모델과 같은 MAE 0.0182를 냈고, 저자는 이를 190배 적은 계산량으로 얻었다고 보고했다.
• 한계: 속도 비교는 circle packing 한 과제에서 OpenEvolve 하나와 했고, 4개씩 병렬로 만든 OpenEvolve의 460번 시도를 115번 반복으로 세었다. ZAPBench에서는 사람 최고 성능과 같은 수준에 그쳤고, Aygün 등의 tree search 시스템은 비슷한 실행 시간 제약에서 MAE 0.0176을 냈다고 원문이 적었다. TriMul의 70번 반복은 다른 GPU image에서 94번 돌려 얻은 최고 프로그램을 초기 프로그램으로 삼아 시작했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.