Pandora's AI Model Routing Box: Efficient Allocation with Costly Value Estimation

여러 AI 전문가 중 누구에게 질의를 보낼지 정하는 라우팅에서, '더 정확한 가치 평가를 돈 주고 살 것인가'를 경제학의 판도라 상자 문제로 풀었다.

이 논문은 한마디로 '어떤 AI 전문가에게 질의를 맡길지 고를 때, 값비싼 정확 평가기를 언제 돌릴지'를 수학적으로 정식화한 연구다. 싼 예측기(임베딩 기반)는 빠르지만 부정확하고, 정확한 평가기(검색 결과나 부분 추론을 보는 모델)는 비싸다. 저자들은 이 트레이드오프를 경제학의 고전인 판도라의 상자(유료 탐색) 문제로 모델링하고, 가우시안 신호 가정 아래 닫힌 형태의 정보 가치 공식을 유도했다. 중앙집중형 '판도라 라우터'는 모든 전문가를 전수 평가한 것과 거의 같은 라우팅 품질을 훨씬 적은 비용으로 냈다. 분산형 '판도라 비더'(경매 방식)는 평가가 정확할 때는 배분 효율을 높이지만, 평가가 noisy하면 전략적으로 군 전문가의 이득이 전체 효율을 해칠 수 있다.

핵심 요약

• 값비싼 가치 평가기를 언제 호출할지 결정하는 모델 라우팅 문제를 경제학의 판도라 상자 문제로 정식화했다.
• 가우시안 신호 가정 아래 정보 가치와 예약가격을 닫힌 형태로 계산해 중앙집중형 판도라 라우터를 만들었다.
• 판도라 라우터는 전수 평가와 비슷한 배정 품질을 유지하면서 비싼 평가기 호출을 훨씬 적게 사용했다.
• 다중 언어모델, 검색 증강 전문가, 추론 시간을 조절하는 수학 모델의 세 영역에서 중앙집중형과 경매형 배정을 검증했다.
• 가우시안 가정과 두 단계 평가기에 한정되며, 분산형 경매에서는 상대의 평가가 부정확할 때 전략적 전문가의 이익이 전체 효율을 해칠 수 있다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.