LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers

어떤 질문을 어떤 AI 모델에 보낼지 자동으로 결정하는 '라우터'를 통합적으로 정의하고, 16종 이상을 공정하게 비교·평가하는 통합 인프라를 만들었다.

이 논문은 한마디로 '질문 내용과 예산에 맞춰 최적의 AI 모델을 골라주는 시스템(라우터)'을 하나의 통일된 프레임워크로 정리한 연구다. 기존 라우터들은 각자 다른 방식으로 만들어져 공정한 비교가 불가능했는데, 이를 '순차적 의사결정 과정'으로 통합하고 5가지 구성 요소(문맥 인코더, 모델 인코더, 점수 함수, 결정 규칙, 학습 신호)로 분해했다. 18개 후보 모델에 대해 자동으로 평가 데이터를 구축하고, xRouteBench라는 벤치마크를 만들어 16개 이상의 라우터를 동일한 조건에서 비교했다. 학습된 라우터가 가장 비싼 단일 모델보다 14.6% 더 좋은 성능을 보였고, 비용이 빡빡할수록 가벼운 라우터가 유리해지는 등 구체적인 인사이트를 얻었다.

핵심 요약

• 라우터를 5가지 구성 요소로 분해하는 통일된 프레임워크를 제안해, 기존 16종 이상의 이기종 라우터를 같은 언어로 비교할 수 있게 했다.
• 18개 모델 × 다양한 벤치마크 과제를 자동으로 돌려 라우팅 평가 데이터(xRouteBench)를 구축했다. 일반 NLP, 비전, 시계열, 개인화까지 포괄.
• 학습된 라우터가 고정 모델 선택보다 14.6% 상대적 향상을 보였다. 단, 비용 제한이 빡빡해지면 가벼운 라우터가 역전한다.
• 사용자 맞춤형 라우팅이 일관되게 개인화 효과를 가져왔다. 사용자 컨텍스트를 잘 모델링할 때만 효과가 있다.
• 오픈소스 라이브러리(LLMRouter)를 공개해 새 라우터를 몇 줄만에 추가할 수 있게 했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.