CoAT: Chain-of-Associated-Thoughts Framework for Enhancing Large Language Models Reasoning

CoAT(Chain-of-Associated-Thoughts) 프레임워크는 최적화된 몬테카를로 트리 탐색을 동적 연상 메모리 메커니즘과 통합해 대규모 언어 모델의 추론을 향상시킨다.

CoAT(Chain-of-Associated-Thoughts) 프레임워크는 최적화된 몬테카를로 트리 탐색을 동적 연상 메모리 메커니즘과 통합해 대규모 언어 모델의 추론을 향상시킨다. 이 접근법은 추론 중 실시간 지식 보충을 가능하게 해, 더 작은 기본 모델을 사용하더라도 다중 홉 질의응답과 복잡한 추론 벤치마크에서 SOTA 성능을 달성한다.

핵심 요약

• 빠른 사고 모드로 작동하는 대규모 언어 모델(LLM)은 반복적인 숙고를 요하는 복잡하고 다단계이며 지식 집약적인 작업에서 종종 어려움을 겪는다.
• Chain-of-Thought(CoT)와 기본 몬테카를로 트리 탐색(MCTS) 변형 같은 기존의 느린 사고 방법은 초기 입력이나 정적 지식 검색에 제한되어, 변화하는 정보에 대한 동적 적응이 부족하다.
• 기존 검색 증강 생성(RAG) 방법은 보통 초기 입력 단계에서만 외부 지식을 통합하는데, 이는 추론 과정 후반부에 관련 없는 정보 과부하나 핵심 내용 부족으로 이어질 수 있다.
• CoAT는 추론 과정의 각 단계에서 새롭고 관련 있는 정보를 실시간으로 능동적으로 생성하고 통합하는 새로운 동적 연상 메모리(AM) 메커니즘을 도입한다.
• 새로운 Association 단계를 통합하고 생성된 콘텐츠와 연상 메모리의 품질을 모두 명시적으로 고려하도록 평가를 수정한, 최적화된 몬테카를로 트리 탐색(MCTS) 프레임워크를 채택한다.
• MCTS의 노드 값은 생성된 콘텐츠의 값과 연상 콘텐츠의 값(계수 β로 가중)을 기반으로 계산되어, 탐색 중 동적 지식의 품질과 관련성이 우선시되도록 보장한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.