A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization

이 논문은 LLM 에이전트로 비싼 평가를 반복하는 블랙박스 최적화를 여러 분야에서 공정하게 비교하는 문제를 통일 예산 벤치마크와 통제 실험으로 풀었다.

이 논문은 한마디로 LLM 에이전트가 블랙박스 최적화를 얼마나 잘하는지 다섯 분야에서 같은 예산 규칙으로 비교한 벤치마크 AgenticBBO-Bench 를 소개한다. 대상은 합성 함수, 하이퍼파라미터 최적화, 데이터베이스 튜닝, 칩 설계, 분자 설계다. 에이전트 형태는 직접 방식보다 다섯 분야 모두에서 좋았고 평균 상대 향상은 30.3% 였다. 도구 추가는 일관된 이득을 주지 않았고 과제 의미 정보는 넓게 도움이 됐다.

핵심 요약

• 저자들은 합성 함수, 하이퍼파라미터 최적화, 데이터베이스 튜닝, 칩 설계, 분자 설계를 아우르는 통일 예산 규칙의 벤치마크 AgenticBBO-Bench 를 만들었다.
• 에이전트 방식은 직접 방식보다 다섯 분야 모두에서 좋았고 평균 상대 향상은 30.3%, BBOB 에서는 0.460 에서 0.661 으로 올랐다.
• GP 기반 수치 도구를 추가해도 성능이 일관되게 오르지 않아 기본 Agentic 평균 0.589 이 + GP Suggest 0.574 와 + GP Tools 0.538 보다 높았다.
• 과제와 변수의 의미 정보는 평균 점수를 0.465 에서 0.595 로 올렸지만 더 구체적인 사전 지식은 신뢰성이 떨어졌다.
• 에이전트 예열 뒤 TuRBO 로 검색을 넘기면 0.570 으로 계속 에이전트로 돌린 경우와 비슷했고 초기 관측에서 시작한 TuRBO 의 0.475 보다 분명히 좋았다.
• 프론티어 과제에서 GPT-6 Astra 가 평균 0.591 로 가장 높고 DeepSeek V4.1 Flash 가 0.584 로 뒤를 따랐지만 모든 영역을 다 이긴 모델은 없었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.