SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding

이 논문은 배포마다 speculative decoding 최적화를 자율 에이전트 루프로 자동 발견하는 문제를 비용 모델과 병렬 탐색, 무손실 검증으로 풀었다.

이 논문은 한마디로 speculative decoding 시스템의 속도를 배포별로 자동 최적화하는 자율 에이전트 루프 SpecPilot을 소개한다. 각 라운드에서 비용 모델이 현재 시스템과 이론적 한계 사이의 가장 큰 차이를 찾아주고, 병렬 에이전트가 여러 방향을 동시에 탐색해 성공한 조각들을 하나의 시스템으로 합친다. 토큰 포싱이 모든 출력 토큰을 기존 시스템과 비교해 보상 해킹을 잡아내고, 구조화된 메모리가 검증된 최적화를 다음 라운드와 새 배포로 가져간다. 그 결과 단일 요청에서 AR 대비 가속이 4.46×에서 10.87×로, 배칭에서 1.94×에서 3.93×로 올라갔다.

핵심 요약

• SpecPilot은 가벼운 초안 모델로 LLM 디코딩을 빠르게 하는 speculative decoding을 배포마다 자동 최적화하는 자율 에이전트 루프다.
• 비용 모델이 현재 시스템과 한계 사이의 가장 큰 차이를 찾고, 병렬 에이전트가 여러 방향을 탐색해 성공한 것을 통합했다.
• 토큰 포싱이 모든 출력 토큰을 기존 시스템과 대조해 보상 해킹을 잡아냈다.
• 루프가 무손실 12-bit 가중치 형식인 W12, 하이브리드 순환 대상 모델용 트리 검증, 2단계 검증, 3개 배칭 기법을 발견했다.
• 단일 요청에서 AR 대비 가속을 4.46×에서 10.87×로, 배칭에서 1.94×에서 3.93×로, 학습이나 품질 손실 없이 올렸다.
• 구조화된 메모리가 검증된 최적화 140개를 저장해 새로운 드래프터, 모델, GPU 플랫폼으로 재사용했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.