Talk Isn't Always Cheap: Understanding Failure Modes in Multi-Agent Debate

Johns Hopkins University와 Vector Institute의 연구진은 대규모 언어 모델 간의 멀티 에이전트 토론이 성능을 저하시켜, 특히 이질적인 그룹에서 정답이 오답으로 뒤집힐 수 있음을 경험적으로 입증한다.

Johns Hopkins University와 Vector Institute의 연구진은 대규모 언어 모델 간의 멀티 에이전트 토론이 성능을 저하시켜, 특히 이질적인 그룹에서 정답이 오답으로 뒤집힐 수 있음을 경험적으로 입증한다. 사회적 영향과 역효과를 내는 순차적 수정이 흔히 숙의의 이점을 압도한다는 사실을 발견했다.

핵심 요약

• 멀티 에이전트 토론이 복잡한 추론 과제에서 대규모 언어 모델(LLM) 성능을 보편적으로 향상시킨다는 통념이 있다.
• 여러 LLM이 상호작용할 때, 특히 역량이 다양한 이질적 그룹에서 발생하는 구체적인 실패 양상에 대한 이해가 부족하다.
• 멀티 에이전트 토론이 언제 그리고 왜 유익하기보다 해로울 수 있는지를 규명할 필요가 있다.
• LLM이 여러 라운드에 걸쳐 동료의 입력을 바탕으로 응답을 반복적으로 수정하는 표준 멀티 에이전트 토론 프레임워크를 사용했다.
• 세 개의 다양한 데이터셋(CommonSenseQA, MMLU, GSM8K)에서 세 LLM(GPT-4o-mini, LLaMA-3.1-8B-Instruct, Mistral-7B-Instruct-v0.2)으로 구성된 이질적 그룹을 사용해 경험적 연구를 수행했다.
• 순차적 수정 추적, 사회적 영향 평가(동료 동의에 따른 답변 뒤집힘 확률), 그리고 아첨을 완화하기 위한 개입을 통해 실패 양상을 분석했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.