Command A: An Enterprise-Ready Large Language Model

Cohere는 최고 수준의 성능과 효율성의 균형을 맞춰 엔터프라이즈 응용에 특화 설계한 대규모 언어 모델 Command A를 개발했다.

Cohere는 최고 수준의 성능과 효율성의 균형을 맞춰 엔터프라이즈 응용에 특화 설계한 대규모 언어 모델 Command A를 개발했다. 새로운 분산 학습 접근과 하이브리드 구조를 통해 동급 최고의 RAG 및 에이전트 능력, 23개 언어에 대한 견고한 다국어 지원, 효율적인 배포 요구사항을 달성한다.

핵심 요약

• 범용 대규모 언어 모델(LLM)은 검색 증강 생성(RAG), 복잡한 에이전트 작업, 견고한 다국어 지원 같은 특정 엔터프라이즈 워크플로우에 대한 최적화가 부족한 경우가 많다.
• 대규모 최신 LLM을 엔터프라이즈 환경에 배포하는 것은 종종 연산 집약적이고 비용이 많이 들어 온프레미스 또는 프라이버시 보존 배포를 저해한다.
• 파국적 망각이나 성능 트레이드오프 없이 다양한 능력을 단일 LLM에 통합하는 것은 대규모 모델 학습에서 여전히 난제로 남아 있다.
• Command A는 새로운 하이브리드 어텐션 메커니즘과 Grouped-Query Attention을 갖춘 디코더 전용 Transformer를 활용해 효율성과 성능의 균형을 맞춘다.
• 분산 사후 학습 접근은 여섯 개의 전문화된 전문가 모델(예: Code, Safety, RAG)을 도메인별 데이터로 학습한 뒤 그 파라미터를 병합해 통합 능력을 갖춘 'soup' 모델로 만드는 과정을 포함한다.
• 정제 단계는 Self-improving Robust Preference Optimization(SRPO)과 인간 정렬 및 특정 능력을 위한 온라인 RLHF를 포함한 고급 지도 파인튜닝(SFT) 및 강화 학습(RL) 기법을 통합한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.