HeavySkill: Heavy Thinking as the Inner Skill in Agentic Harness

HEAVYSKILL은 병렬 추론과 순차적 숙고를 결합하여 두 단계로 이루어진 '집중 사고' 과정을 LLM 고유의 스킬로 정식화한다.

HEAVYSKILL은 병렬 추론과 순차적 숙고를 결합하여 두 단계로 이루어진 '집중 사고' 과정을 LLM 고유의 스킬로 정식화한다. 이 프레임워크는 복잡한 추론 과제에서 일관되게 성능을 향상시켜 Best-of-N 같은 기존 전략을 능가하며, 숙고를 통해 개별 초기 시도에는 존재하지 않던 정답을 합성해낼 수 있음을 보여준다.

핵심 요약

• 복잡한 LLM 에이전트 오케스트레이션 프레임워크 내부에서 성능을 이끄는 구체적 메커니즘은 대체로 규명되지 않은 채 남아 있다.
• 현재의 LLM 에이전트 설계는 핵심 추론 과정에 대한 명확한 추상화 없이 광범위한 시스템 엔지니어링에 의존하는 경우가 많다.
• 기존의 테스트 시점 스케일링(TTS) 전략은 특화된 구조적 변경이나 대규모 사후학습을 수반하는 경우가 많아, 보편적이고 이식 가능한 '스킬' 표현이 부족하다.
• K개의 독립적인 궤적을 생성하는 병렬 추론과 이 궤적들을 처리하고 합성하는 순차적 숙고로 구성된 2단계 추론 파이프라인 HEAVYSKILL을 제안한다.
• 추론 궤적을 저장하고 정리하는 직렬화된 메모리 캐시를 구현하여, 맥락 관리를 용이하게 하고 숙고 과정에서의 위치 편향을 방지한다.
• 집중 사고 워크플로를 읽을 수 있는 스킬 문서로 증류하여, 임의의 LLM 오케스트레이터가 맥락 내 지시에 기반해 자율적으로 실행할 수 있게 함으로써 이식성을 높인다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.