TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration

이 논문은 LLM fine-tuning을 자동화하기 어려운 문제를, Researcher와 Executor agent가 MCTS로 실험 tree를 넓혀 가며 데이터와 학습 방식을 반복 개선하는 방법으로 풀었다.

이 논문은 한마디로 LLM(대규모 언어 모델) fine-tuning의 자료 조사, 데이터 준비, 학습, 평가를 agent가 반복 실험으로 자동화하는 시스템이다. Researcher agent가 실험 계획을 짜고 OpenHands 기반 Executor agent가 GPU cluster에서 실행하며, 회차마다의 실험을 tree로 두고 MCTS로 다음에 개선할 실험을 고른다. 저자들이 만든 FT-Bench 10개 과제에서 TREX는 Qwen3-1.7B의 점수를 모두 올렸고, Researcher에 Gemini 3 Pro를 쓸 때 대부분 과제에서 Qwen3-Next-80B-Thinking보다 좋았다. TOMG-Bench와 OpenFinData에서는 사람 전문가가 다른 기본 모델로 얻은 향상과 비슷하거나 더 큰 향상을 냈다.

핵심 요약

• 문제: 기존 연구 agent는 hyperparameter나 code patch처럼 짧은 글로 표현되는 대상을 반복 최적화하지만, LLM(대규모 언어 모델) fine-tuning은 학습 데이터 분포, 알고리즘, hyperparameter를 함께 정해야 하는 열린 문제다. 학습 데이터는 너무 커서 agent의 context에 넣을 수 없고, 학습과 평가 한 번에 시간과 계산이 많이 들어 제안을 대량으로 만들어 검증하는 진화 방식은 비효율적이거나 실행할 수 없다.
• 입력과 출력: 이 논문은 LLM fine-tuning 전 과정을 자동화하는 multi-agent 시스템 TREX와 평가용 benchmark FT-Bench를 함께 제안한 시스템 논문이다. TREX는 과제 목표, 평가 데이터와 지표, 선택적 학습 데이터, 실험 설정을 담은 과제 설명을 받고, 데이터를 모으고 만들어 Qwen3-1.7B를 fine-tuning한 뒤 가장 좋은 회차의 모델과 점수를 낸다. FT-Bench는 임상 기록 생성, 분자 생성, 화학 반응 메커니즘, 금융, 법률, tool 사용 등 실제 상황에서 가져온 과제 10개로 이루어져 있다.
• 방법: Researcher agent는 arXiv 논문과 Hugging Face 데이터셋을 찾아 큰 개선 전략을 정한 뒤 보통 3에서 5개의 병렬 학습 설정으로 실험 계획을 짜고, OpenHands 기반 Executor agent가 GPU cluster에서 데이터 처리, 학습, 평가를 실행한다. 여러 회차의 실험은 tree로 기록되고, MCTS(몬테카를로 트리 탐색)가 UCT 점수가 가장 높은 node를 골라 다음에 개선하며, 보상은 과제 주 지표를 정규화한 값이다. 실험마다 실패 사례(bad case) 분석과 원인 정리를 하고, 이를 root부터의 경로, 형제 node, 중요 node와 함께 압축한 memory context로 다음 설계에 넘긴다.
• 구현: Executor는 OpenHands 위에 cluster 작업 예약 API를 tool로 붙였고, 저자들은 HuggingFace Datasets 기반의 데이터 처리 라이브러리 AIDP(불러오기, 점수 매기기, 생성, 걸러내기 연산자)를 만들어 agent가 데이터 pipeline을 조합하게 했다. 실험에서 Researcher의 backend는 Qwen3-Next-80B-Thinking 또는 Gemini 3 Pro, Executor는 Claude 4.5 Sonnet이었고, 과제마다 최대 20회 실험, 실험당 학습 샘플 50,000개 제한을 두었다. 성능은 Qwen3-235B-2507을 기준 모델로 삼은 정규화 상대 향상으로 비교했다.
• 결과: TREX는 10개 과제 모두에서 기본 모델 Qwen3-1.7B의 점수를 올렸고, Researcher에 Gemini 3 Pro를 쓰면 ACI-Bench Rouge-1이 0.205에서 0.502로, HoC Macro-F1이 0.462에서 0.897로 올랐다. 학습 데이터를 처음부터 만들어야 하는 CS-Bench는 0.532에서 0.581로 정규화 향상이 15%에 그쳤다. TOMG-Bench에서 TREX의 향상 0.498은 TOMG-Bench 저자들이 Llama3.1-8B로 fine-tuning한 OpenMolIns-Large의 향상 0.189보다 컸다.
• 한계: 모든 과제의 기본 모델은 Qwen3-1.7B 하나이고, 실험은 과제마다 최대 20회, 실험당 학습 샘플 50,000개 안에서 했다. tree search 전략, AIDP, bad-case 분석의 ablation은 oMeBench와 GTA 두 과제에서 Gemini 3 Pro로만 했고 결과는 점수 곡선 그림으로 제시했다. 사람 전문가와의 비교는 TOMG-Bench와 OpenFinData 두 과제이고, 비교 대상은 Llama3.1-8B, Qwen2.5-32B처럼 다른 기본 모델에서 얻은 향상이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.