Large Language Models as a Universal Searcher for Open-World Automated Machine Learning

이 논문은 아주 다양한 AutoML 설계 선택을 하나의 숫자열로 바꿔 LLM 하나가 과제 특화 미세조정 없이 열린 세계 최적화를 하게 만든 프레임워크다.

이 논문은 한마디로 모델 구조, 학습 하이퍼파라미터, 데이터 비율을 통일된 숫자 코드로 바꾸고 LLM 서처가 후보를 골라내게 해 여러 분야를 넘나드는 자동 머신러닝 최적화를 한 번에 하게 만든 연구다. 저자들은 NCode라는 수치 부호화로 이질적 설계 공간을 하나의 이산 공간으로 묶고, 최적화를 후보 순위 매기기 문제로 재정의했다. 단일 비전 과제의 궤적 데이터로만 학습해도 서치 모델은 이미 분류, 분할, 화자 검증, 텍스트-이미지 벤치마크에서 최고 수준 성능을 냈다. GRPO로 사고사슬을 학습시켜 탐색 전략이 초기 다양성 탐색에서 후기 닻 기반 활용으로 옮겨감을 해석 가능하게 보였다.

핵심 요약

• 연구진은 모델 구조, 학습 하이퍼파라미터, 데이터 비율을 통일된 이산 수치열 NCode로 부호화해 세 설계 공간을 함께 최적화했다.
• LLM 서처는 후보 풀에서 우수한 후보를 고르는 순위 문제로 재정의되어, 과제 특화 미세조정 없이 열린 세계 최적화를 수행한다.
• 단일 비전 도메인인 NAS-Bench-301 궤적으로만 학습하고도 이미지 분류, 분할, 화자 검증, 텍스트-이미지 벤치마크에서 최고 수준 성능을 냈다.
• 십억 파라미터 규모 Diffusion Transformer의 대규모 학습과 공동 최적화에서 896 GPU-days를 들여 GenEval 점수 0.91의 최고 수준 성적을 냈다.
• GRPO로 사고사슬 추론을 학습시켜, 최적화 전략이 초기의 다양성 중심 탐색에서 후기의 닻 중심 활용으로 옮겨가는 것을 해석했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.