Unlimited OCR Works

Reference Sliding Window Attention(R-SWA)으로 일정한 KV 캐시를 유지하며 수십 페이지 문서를 한 번에 OCR 처리하는 엔드투엔드 모델을 제안한다.

바이두의 Unlimited OCR은 DeepSeek OCR을 기반으로 디코더의 모든 어텐션을 R-SWA로 교체하여, 디코딩 중 KV 캐시를 일정하게 유지한다. 이를 통해 32K 컨텍스트 내에서 수십 페이지 문서를 단일 forward pass로 처리할 수 있으며, OmniDocBench에서 93% 정확도로 기존 대비 6% 향상을 달성했다. R-SWA는 OCR뿐 아니라 ASR, 번역 등 참조 기반 장문 파싱 작업에 범용 적용 가능하다.

핵심 요약

• Reference Sliding Window Attention(R-SWA): 참조 토큰은 전체 어텐션, 출력 토큰은 슬라이딩 윈도우(128개)로 처리해 KV 캐시를 상수로 유지
• DeepSeek OCR 대비 OmniDocBench v1.5에서 6% 향상(93% 달성), MoE 구조로 활성 파라미터 0.5B
• 40페이지 이상 한 번에 처리 가능, 6000 토큰 출력 시 기존 대비 35% 빠른 추론 속도
• 전체 표준 어텐션을 R-SWA로 교체해도 단일 페이지 OCR 정확도 무손실 입증
• 바이두에서 개발, 코드 및 가중치 공개(GitHub)

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.