NaturalThoughts: Selecting and Distilling Reasoning Traces for General Reasoning Tasks

Meta의 FAIR가 수행한 체계적 연구는 지도 미세조정을 통해 추론 능력을 소형 언어 모델로 증류하는 효과적인 방법을 탐구한다.

Meta의 FAIR가 수행한 체계적 연구는 지도 미세조정을 통해 추론 능력을 소형 언어 모델로 증류하는 효과적인 방법을 탐구한다. 이 연구는 고품질 추론 데이터를 확장하는 것이 성능을 일관되게 향상시킴을 입증하고, 추론 효율과 전체 정확도를 모두 개선하는 혼합 System-1/System-2 증류 전략을 도입한다.

핵심 요약

• 추론 시연의 어떤 특성이 소형 언어 모델로의 추론 능력 증류에 가장 효과적인지에 대한 체계적 이해가 부족했다.
• 소수의 수작업으로 선별한 예시로 추론 증류에 충분하다는 지배적인 'Less is More' 가설은 주로 도메인 특화 맥락에서 비롯된 것으로, 일반 추론에 대해서는 재평가가 필요했다.
• 대규모 언어 모델은 흔히 과잉 사고를 보여 지나치게 긴 추론 트레이스를 생성하며, 이는 추론 비용을 늘리고 실제 배포 효율을 떨어뜨린다.
• 저자들은 다양한 NaturalReasoning 질문에 대해 DeepSeek-R1(교사)이 생성한 추론 트레이스를 도메인, 메타 추론 전략, 장황함에 따라 주석한 데이터셋 NaturalThoughts를 구축했다.
• 다양성(예: 질문 주제, 의미 임베딩, 추론 전략)과 난이도(예: 응답 길이, 장황함, 모델 일치도)에 기반한 데이터 선택 전략을 체계적으로 탐구했다.
• 학생 모델이 추론 시점에 추론 깊이를 조정할 수 있도록, 무작위 및 난이도 기반 혼합을 포함한 혼합 System-1/System-2 증류 접근법을 제안하고 평가했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.