ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute

ParaThinker는 대규모 언어 모델이 여러 추론 경로를 동시에 탐색하고 이를 종합하여 정확도를 높일 수 있게 하는, 본래적 병렬 사고 패러다임을 도입한다.

ParaThinker는 대규모 언어 모델이 여러 추론 경로를 동시에 탐색하고 이를 종합하여 정확도를 높일 수 있게 하는, 본래적 병렬 사고 패러다임을 도입한다. 무시할 만한 추론 지연으로 수학 추론 벤치마크에서 상당한 성능 향상을 달성하며, 특히 소형 모델을 크게 강화한다.

핵심 요약

• 순차적 LLM 추론은 '터널 시야'를 보이는데, 이는 초기 오류가 계산량 증가에도 불구하고 수익 체감과 정체로 이어지는 현상이다.
• 현재의 '깊이' 스케일링 접근법은 일정 지점을 넘어서면 비효율적이어서, 복잡한 추론 과제에서 추가적인 성능 향상을 끌어내지 못한다.
• 기존 병렬 또는 탐색 기반 방법은 흔히 외부 검증자나 도메인 특화 구성요소에 의존하거나, 상당한 추가 계산 비용을 발생시킨다.
• ParaThinker는 여러 독립적 사고 경로를 생성하는 병렬 추론과 이 경로들을 단일 최종 답변으로 통합하는 요약의 2단계 과정을 사용한다.
• 특수 제어 토큰('think i', 'summary')을 사용하여 모델의 다양한 추론 경로 생성과 이후의 통합을 유도한다.
• 사고 특화 위치 임베딩이 표준 RoPE를 보강하여 병렬 경로 간 위치 모호성을 해소함으로써, 구별된 처리와 효과적인 요약을 보장한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.