SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization

이 논문은 텍스트 대신 잠재 공간에서 추론하고 KV 캐시를 주고받는 값싼 에이전트 떼를 써서 LLM 진화 탐색을 빠르고 싸게 만드는 문제를 풀었다.

이 논문은 한마디로 수백 개의 저비용 에이전트가 텍스트를 뽑아내지 않고 잠재 공간에서 추론하고 KV 캐시를 주고받으며 진화 탐색을 하는 SwarmEvolve 프레임워크를 소개한다. 각 에이전트 떼는 문제를 서로 다른 관점에서 살피고, 신규성 필터가 은닉 상태 벡터 사이 거리를 직접 재어 가장 다른 아이디어만 남긴다. 아이디어 결합은 요약 에이전트가 떼의 모든 KV 캐시를 받아 자연스럽게 일어난다. 수학 발견과 과학계산 21개 문제에서 최고 평균 점수를 받았고 다른 최신 프레임워크가 60분에 도달하는 점수를 중앙값 3~8분 만에 도달했다.

핵심 요약

• SwarmEvolve는 각 라운드마다 수백 개의 저비용 에이전트가 떼를 지어 잠재 공간에서 추론하고 KV 캐시로 정보를 주고받는 진화 탐색 프레임워크다.
• 신규성 필터가 에이전트의 은닉 상태 벡터 사이 거리를 직접 재어 가장 다른 아이디어의 에이전트만 남긴다.
• 아이디어 결합은 요약 에이전트가 떼의 모든 구성원의 KV 캐시를 받아 하나의 새 프로그램을 쓰는 방식으로 잠재 공간에서 일어난다.
• 21개 수학 및 과학계산 문제에서 최고 평균 점수를 받았고 다른 최신 프레임워크의 60분 최고 점수를 중앙값 3~8분 만에 도달했다.
• 기존 프레임워크보다 시간당 5~13배 많은 프로그램을 평가했다.
• Qwen3 8B 같은 작은 모델로도 세 문제에서 AlphaEvolve가 프론티어 모델로 처음 찾은 해를 개선했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.