LoongFlow: Directed Evolutionary Search via a Cognitive Plan-Execute-Summarize Paradigm

이 논문은 LLM 진화 탐색이 무작위 mutation에 기대 비용이 크고 일찍 수렴하는 문제를, 계획, 실행, 요약을 차례로 반복하는 PES loop와 다양성을 지키는 hybrid 진화 memory로 풀었다.

이 논문은 한마디로 LLM이 코드를 무작위로 고치는 대신 이전 세대의 계획과 반성 기록을 읽고 다음 수정을 계획하게 만든 진화 탐색 framework다. Planner, Executor, Summarizer가 한 세대를 맡고, multi-island, MAP-Elites(행동 특징별로 최고 해를 남기는 보관 방식), Boltzmann 선택을 합친 memory가 population의 다양성을 지킨다. Circle Packing(Square) 과제에서 목표 점수 0.99에 평균 258회 평가로 도달해 OpenEvolve의 783회보다 적었고, MLE-bench에서는 ML Agent가 Gold medal 14개를 받았다.

핵심 요약

• 문제: LLM으로 코드를 진화시키는 framework 가운데 OpenEvolve는 대량의 무작위 mutation에 기대고, ShinkaEvolve는 novelty search로 효율을 높였지만 mutation이 왜 실패했는지 분석하는 장치가 없다. 그 결과 탐색에 token이 많이 들고, population이 일찍 local optimum에 수렴하며, 같은 오류가 세대마다 되풀이된다.
• 입력과 출력: 과제 설명, 초기 해 코드, 점수를 매기는 평가 함수(예: test case 정확도)를 받아 여러 세대에 걸쳐 코드를 고치고, 점수가 가장 높은 해 코드를 낸다. 논문 종류는 framework 논문이고, 알고리즘 발견용 General Agent와 ML pipeline 최적화용 ML Agent 두 가지로 구현해 실험했다.
• 방법: PES(Plan-Execute-Summarize) loop에서 Planner는 부모 해의 lineage를 따라 이전 계획과 요약을 읽고 blueprint(자연어 실행 계획)를 만든다. Executor는 blueprint대로 코드를 만들고 전체 평가 전에 문법 오류 같은 작은 오류를 스스로 고치며, Summarizer는 계획과 실행 결과를 비교한 insight를 memory에 쌓는다. population은 ring 구조의 multi-island, island마다 둔 MAP-Elites feature grid(행동 특징 cell마다 최고 해를 보관), population entropy로 temperature를 바꾸는 Boltzmann 부모 선택으로 다양성을 지킨다.
• 구현: 실험은 AlphaEvolve 논문에서 가져온 수학 문제 모음(General Agent)과 MLE-bench의 Kaggle 대회(ML Agent)로 했고, 모델은 DeepSeek-R1-0528, Gemini-3-Pro-Preview, Gemini-3.0-flash, Claude-Opus-4.5 등을 썼다. memory에는 solution마다 코드, 부모 ID, 생성 계획, 점수, 실행 log, 다음 세대를 위한 요약을 담은 Solution 기록이 저장된다. 공식 저장소 README 기준으로 PES framework(PESAgent), ReAct agent, General, Math, ML agent 예제와 진화 과정 시각화 도구가 공개됐다.
• 결과: 표 1에 실린 문제에서 DeepSeek-R1을 쓴 LoongFlow는 모두 AlphaEvolve 값보다 좋았고, 예를 들어 Autocorrelation II는 AlphaEvolve 0.8962 대비 0.9027, Circle Packing(Square)은 2.6358 대비 2.6359였다. MLE-bench에서는 ML Agent가 Gold medal 14개를 받았다. DeepSeek-R1-0528과 24시간 제한으로 Circle Packing(Square)의 목표 점수 0.99를 노린 실험에서 LoongFlow는 평균 258회 평가로 3번 모두 도달했고, OpenEvolve는 783회 평가로 3번 중 1번 도달했으며, ShinkaEvolve의 최고 점수는 0.952였다.
• 한계: 효율 비교는 Circle Packing(Square) 한 과제에서 3번 실행한 결과이고, ablation도 Circle Packing 과제에서 했으며, 표 1의 비교 대상은 AlphaEvolve 값뿐이다. ML Agent 결과는 Gold를 받은 대회 14개의 목록으로 보고되고, OpenEvolve, ShinkaEvolve와의 baseline 비교는 General Agent에만 있다. 저자들은 진화 전략을 스스로 설정하는 Meta-Agent와 새 분야용 비지도 다양성 지표 학습을 다음 과제로 들었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.