Evaluating Theory of Mind and Internal Beliefs in LLM-Based Multi-Agent Systems

마음 이론과 내부 믿음으로 강화하고 기호 논리로 검증한 다중 에이전트 시스템에 대한 평가는, 이러한 인지적 강화의 효능이 기반 LLM의 역량에 크게 좌우된다는 것을 밝힌다.

마음 이론과 내부 믿음으로 강화하고 기호 논리로 검증한 다중 에이전트 시스템에 대한 평가는, 이러한 인지적 강화의 효능이 기반 LLM의 역량에 크게 좌우된다는 것을 밝힌다. ChatGPT-4o와 Claude 3.5 Sonnet 같은 최상위 LLM은 견고한 성능을 유지하는 반면, 역량이 낮은 모델은 추가된 인지 부하로 이득을 보거나 오히려 방해받을 수 있다.

핵심 요약

• 대규모 언어 모델(LLM) 에이전트는 특히 부분적이거나 상충하는 정보를 다룰 때 복잡한 다중 에이전트 시스템에서 흔히 일관성이 없고 변동이 큰 성능을 보인다.
• 기존 다중 에이전트 시스템은 경직된 규칙에 자주 의존하여 동적인 실제 환경에서의 적응성과 확장성이 제한된다.
• LLM 기반 다중 에이전트 시스템 내에서 마음 이론(ToM), 내부 믿음 체계, 논리적 검증을 결합한 포괄적이고 시너지 있게 통합된 구조가 결여되어 있다.
• 마음 이론(ToM) 능력, 내부 믿음 상태(IB), 그리고 답 집합 프로그래밍(ASP) 솔버를 이용한 논리적 검증을 통합하는 새로운 에이전트 구조가 제안되었다.
• 이 에이전트들은 동적이며 자원 소비 시나리오 하에서 효과적인 협조를 요구하도록 설계된 상호작용형 도시 자원 배분 시뮬레이션에 투입되었다.
• 모듈형 에이전트 설계 덕분에 다양한 LLM 전반에 걸쳐 네 가지 구성(기본, ToM만, IB만, ToM과 IB 결합)을 체계적으로 평가할 수 있었으며, 내부 믿음에 대한 반복적 논리 일관성 검사가 이루어졌다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.