Optimizing Model Selection for Compound AI Systems

Microsoft Research와 주요 학술 기관들은 복합 AI 시스템에서 모델 선택을 최적화하는 획기적인 프레임워크 LLMSelector를 도입한다. 서로 다른 언어 모델을 특정 시스템 모듈에 영리하게 순차 할당함으로써 시스템 복잡도에 따른 선형 확장을 유지하면서 5~70%의 정확도 향상을 달성한다.

Microsoft Research와 주요 학술 기관들은 복합 AI 시스템에서 모델 선택을 최적화하는 획기적인 프레임워크 LLMSelector를 도입한다. 서로 다른 언어 모델을 특정 시스템 모듈에 영리하게 순차 할당함으로써 시스템 복잡도에 따른 선형 확장을 유지하면서 5~70%의 정확도 향상을 달성한다.

핵심 요약

• 복합 AI 시스템은 보통 모든 모듈에 동일한 LLM을 사용해 전체 성능을 제한한다.
• 서로 다른 시스템 구성 요소에 걸쳐 모델 선택을 최적화하는 체계적 접근법이 없다.
• 단조적 성능 관계를 활용하는 LLMSelector 프레임워크를 개발했다.
• LLM 기반 성능 추정을 사용해 모델을 모듈에 효율적으로 할당한다.
• 순차적 모듈 지명을 통한 반복적 최적화 접근법을 구현한다.
• 종단간 성능은 종종 모듈별 성능에 대해 단조적이다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.