Rethinking Mixture-of-Agents: Is Mixing Different Large Language Models Beneficial?

프린스턴대학교 연구진은 단일 고품질 모델에서 나온 다수의 출력(Self-MoA)이 전통적인 다중 모델 혼합을 능가함을 입증해 LLM 앙상블에 대한 통념에 도전한다. AlpacaEval 2.0에서 6.6% 향상을 달성하는 동시에 앙상블 방법에서 품질-다양성 트레이드오프에 대한 핵심 통찰을 제공한다.

프린스턴대학교 연구진은 단일 고품질 모델에서 나온 다수의 출력(Self-MoA)이 전통적인 다중 모델 혼합을 능가함을 입증해 LLM 앙상블에 대한 통념에 도전한다. AlpacaEval 2.0에서 6.6% 향상을 달성하는 동시에 앙상블 방법에서 품질-다양성 트레이드오프에 대한 핵심 통찰을 제공한다.

핵심 요약

• 전통적인 mixture-of-agents 접근법은 서로 다른 LLM을 결합하면 더 나은 성능으로 이어진다고 가정한다.
• LLM 앙상블에서 다양성과 품질 사이의 근본적인 트레이드오프에 대한 이해가 부족하다.
• 단일 고성능 모델에서 다수의 출력을 생성하는 Self-MoA를 도입했다.
• 컨텍스트 길이 제약 아래에서 더 많은 출력을 처리하기 위한 Self-MoA-Seq를 개발했다.
• 200개 이상의 실험에 걸쳐 품질-다양성 관계에 대한 포괄적 분석을 수행했다.
• 앙상블 성능은 다양성보다 출력 품질에 더 민감하다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.