The FM Agent

이 논문은 후보 평가는 비교적 쉽고 좋은 해 찾기는 매우 어려운 최적화 문제를, 여러 생성 agent가 만든 초기 해를 island 기반 진화 탐색과 분야별 evaluator로 다듬는 범용 multi-agent 시스템(FM Agent)으로 풀었다.

이 논문은 한마디로 LLM 추론과 대규모 진화 탐색을 묶어 ML, 조합 최적화, GPU kernel, 수학 문제의 해를 찾는 범용 multi-agent 시스템이다. 여러 생성 agent가 Cold Start 단계에서 초기 algorithm을 만들고, Evolve 단계에서 island 기반 개체군이 mutation과 crossover로 해를 다듬으며, 전체는 Ray 위의 비동기 분산 구조에서 돌아간다. 저자들은 MLE-Bench 메달 획득률 43.56%, ALE-Bench lite 전체 평균 1976.3, KernelBench Level 3에서 torch.compile 대비 2.08배에서 20.77배 속도 향상을 보고했다. 원 26개 채우기 같은 AlphaEvolve의 수학 문제 세 개에서도 AlphaEvolve보다 나은 값을 냈다고 밝혔다.

핵심 요약

• 문제: 조합 최적화, 시계열 예측, 고성능 kernel 조정 같은 산업 문제는 후보 해의 평가는 비교적 쉽고 정말 좋은 해를 찾기는 매우 어렵다는 공통 구조를 가지며, 지금까지는 전문 엔지니어가 algorithm을 짜고 반복해 다듬어 왔다고 저자들은 설명했다. 저자들은 기존 multi-agent 연구 대부분이 주로 코드 생성에 초점을 둔 점을 한계로 보고, 여러 분야의 복잡한 문제에서 최고 수준의 해를 대규모 탐색으로 찾는 범용 agent를 목표로 했다.
• 입력과 출력: 논문 종류는 Baidu AI Cloud의 FM Agent 팀이 만든 범용 multi-agent 시스템 FM Agent를 다룬 시스템 논문이다. 입력은 풀 문제이고 ML 과제라면 dataset과 과제 목표를 받으며, 후보 해는 FM Agent에 들어 있는 분야별 evaluator가 채점한다. 출력은 진화 탐색으로 다듬은 프로그램으로, ML pipeline, 조합 최적화 heuristic, CUDA(NVIDIA GPU용 병렬 계산 platform) kernel, 수학 문제의 구성 코드가 여기 든다.
• 방법: Cold Start 단계에서 여러 생성 agent가 서로 다른 전략으로 다양한 초기 algorithm pool을 만들고, 이 algorithm들을 cluster로 나눠 여러 island(대부분의 시간 동안 따로 진화하는 개체군)에 배정한다. Evolve 단계에서는 island마다 mutation과 crossover로 개체군을 진화시키며 island끼리 주기적으로 교류해 아이디어가 섞이게 하고, 실시간 개체군 다양성에 따라 선택 압력을 조절하는 cluster 기반 sampling과 상위 해를 모은 elite pool로 exploration과 exploitation의 균형을 맞춘다. evaluator는 기본으로 단일 fitness 점수와 LLM judge feedback을 주고, ML이나 kernel 생성 같은 복잡한 경우에는 정확도와 지연 시간의 균형 같은 분야별 다차원 지표를 쓴다.
• 구현: 시스템은 Ray framework 위에서 돌아가며, 프로그램 생성과 프로그램 평가를 따로 둔 병렬 worker pool에 비동기로 나눠 수천 개의 진화 과정을 동시에 실행할 수 있게 했다. 세 benchmark 실험에서 FM Agent는 Gemini-2.5-pro를 쓰고 사람 개입 없이 LLM만으로 최적화했으며, 전문가가 자연어나 코드로 진화 방향을 바꾸고 RAG(retrieval-augmented generation, 검색한 자료를 붙여 답을 만드는 방식)로 전문가 knowledge base를 찾게 하는 Human-Interactive Feedback Module은 저자들이 권장하는 선택 사항이다. 논문에 적힌 GitHub 주소는 비교 대상인 OpenEvolve와 CUDA-L1의 것이고, FM Agent 자체의 코드 주소는 논문에 없다.
• 결과: Kaggle 대회 75개로 된 MLE-Bench에서 FM Agent(서로 다른 seed로 3번 돌린 평균)의 메달 획득률은 43.56%로, 공식 보고서에서 가져온 Operand ensemble 39.56%와 InternAgent 36.44%보다 높았다. 모든 agent가 Gemini 2.5 Pro를 쓴 ALE-Bench lite 10문제에서 전체 평균 점수는 1976.3으로 ALE-Agent(분야 지식과 다양성 중심 탐색을 넣은 전용 agent) 1879.3보다 5.2%, Iterative-Refinement baseline(Self-Refine 방식으로 해를 반복해 고치는 baseline) 1201.3보다 64.6% 높았다. 가장 어려운 kernel을 모은 KernelBench Level 3 문제를 cluster로 나눠 고른 workload set에서는 수치 허용 오차를 더 엄격하게 잡고도 torch.compile보다 2.08배에서 20.77배 빨랐고, 원 26개 채우기 문제에서는 반지름 합 2.6359740012로 AlphaEvolve의 2.6358627564보다 높았다.
• 한계: MLE-Bench 비교 대상 수치는 gpt-4o, o1-preview, deepseek-r1, gpt-5 같은 서로 다른 기반 모델로 낸 공식 보고서 값이고, ALE-Bench lite의 짧은 대회 평균은 ALE-Agent가 2284.8로 FM Agent의 2250.8보다 높았다. ablation은 ALE-Bench 과제 하나(ahc016)에서 설정마다 5번씩 돌린 결과이고, 불확정성 부등식 과제에서 저자들은 탐색 성능이 전문가 지식에서 나온 문제 설정에 매우 민감하다고 밝혔다. Baidu 안팎의 여러 산업 현장에서 쓰는 algorithm 수준에 맞먹거나 넘었다는 주장은 본문에 수치 없이 나온다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.