Neural Architecture Discovery via Autonomous Evolution

이 논문은 AI가 신경망 구조 연구를 스스로 해낼 수 있는지라는 문제를, 구조 제안, 구현, 실제 학습, 결과 분석을 반복하는 multi-agent loop(ASI-ARCH)로 linear attention 구조를 찾게 해서 풀었다.

이 논문은 한마디로 LLM agent가 linear attention 구조를 제안, 구현, 학습, 분석하는 loop를 사람 개입 없이 반복하는 자율 연구 system ASI-ARCH다. 20M 규모 탐색에서 1,773번 실험했고, 340M 규모로 다시 검증한 구조 가운데 105개가 최고 성능(state-of-the-art)을 기록했다. 1.3B 규모 최고 구조는 정확도 지표 전체 평균에서 baseline인 DeltaNet보다 +0.97점 높아, 사람이 설계한 가장 강한 경쟁 구조 Mamba2가 DeltaNet보다 높았던 +0.34점의 3배 가까이 됐다. 저자들은 LLM으로 아이디어 출처를 분류해, 전체 설계 아이디어의 51.7%가 문헌 지식에서 왔고 자기 실험 경험에서 온 비율은 전체 구조 38.2%, 상위 105개 구조 44.8%였다고 보고했다.

핵심 요약

• 문제: LLM agent가 AI 연구 자체를 앞당기는 어려운 장기 과제를 해낼 수 있는지는 아직 거의 탐구된 적이 없다. 기존 NAS(Neural Architecture Search, 신경망 구조 탐색)는 사람이 정한 탐색 공간 안에서 고르는 데 그친다. 저자들은 구조 설계가 어려운 이유로 LLM에 내장된 구조 설계 지식이 적은 점, 제약 하나를 어기면 학습이 조용히 망가지는 큰 codebase, 처음부터 pre-training하고 benchmark를 실행해야만 품질을 잴 수 있는 비싼 평가를 들었다.
• 입력과 출력: 이 논문은 구현과 실험을 갖춘 system 논문이다. ASI-ARCH는 지난 구조들의 요약, 실험 분석, 문헌 지식(cognition)을 받아 새 linear attention 구조의 설계 동기와 code를 한 번에 쓰고, 그 구조를 실제로 학습해 얻은 loss, benchmark 점수, 분석을 다음 cycle의 입력으로 쌓는다.
• 방법: Researcher가 낸 구조는 embedding으로 찾은 가장 비슷한 과거 동기 5개와 견줘 LLM이 새로움을 판정하는 novelty check와 code sanity check를 통과해야 학습에 들어가고, 구현 오류로 학습이 실패하면 debugging agent가 error log를 보고 code를 고친다. fitness는 baseline 대비 10% 안의 loss 개선과 benchmark 개선을 각각 sigmoid로 바꾼 두 값과 LLM judge 점수의 평균이다. Analyzer는 부모, 형제 구조와 비교해 설계 요소별 기여를 추정하고, 상위 50개 구조 pool과 논문 지식 cognition이 다음 제안의 근거가 된다.
• 구현: 탐색 단계는 20M parameter 모델을 1B token으로 학습해 benchmark마다 500개 sample로 평가했고, 검증 단계는 고른 구조를 340M parameter와 1B token으로, 상위 구조를 1.3B parameter와 15B token으로 키워 다시 확인했다. planner에는 o3와 GPT-4.1, checker와 분석에는 o3, 학습 실행과 debugging에는 GPT-4.1을 썼고, linear attention 논문 약 100편을 약 150개 cognition 항목으로 정리해 OpenSearch로 검색했다. README 기준으로 공식 저장소(GAIR-NLP/ASI-Arch)에는 pipeline, MongoDB 기반 architecture database, RAG(retrieval-augmented generation, 검색 증강 생성) 기반 cognition base code가 있고, 발견한 구조 목록은 project page로 연결된다.
• 결과: 20M 규모 탐색의 1,773번 실험(약 10,000 GPU 시간)에서 1,350개가 정량, 정성 지표 모두에서 baseline인 DeltaNet을 넘었고, 그 가운데 약 150개를 340M 규모로 다시 검증해 105개가 SOTA(state-of-the-art, 최고 성능)를 기록했다. 1.3B 규모 최고 모델은 정확도 지표 14개의 전체 평균에서 DeltaNet보다 +0.97점 높았고, 이는 Mamba2가 DeltaNet보다 높았던 +0.34점의 3배 가까운 개선이다. 같은 제안 모델 DeepSeek-V4-Flash, 120회 시도 예산, 20M 학습 설정에서 설계 성공률은 ASI-ARCH 37.4%, open-source 진화 coding agent인 OpenEvolve 8.3%였다.
• 한계: 탐색은 DeltaNet을 baseline으로 한 linear attention에서 했고, 105개 SOTA는 저자들이 통제한 340M 평가에서 나온 판정이다. 같은 구현과 hardware에서 잰 1.3B 규모 효율 비교에서 ASI-ARCH 다섯 모델의 최대 memory는 16.28G에서 22.75G로, DeltaNet의 11.44G보다 컸다. 340M 규모에서 다른 계열로 옮긴 규칙은 GLA(Gated Linear Attention)에서 +2.05점을 냈지만 state-space model인 Mamba2는 +0.35점, HGRN2(gated linear recurrent 모델)는 +0.14점으로 개선이 작았고, 저자들은 계열별 adapter를 다음 과제로 남겼다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.