DocPilot: Interactive Agent Orchestration and Training for Long Visual Document Understanding

이 논문은 긴 시각 문서 질의응답을 페이지 탐색과 부분 확대, 코드 계산, 답 검증의 여섯 동작으로 조율하는 에이전트 프레임워크를 만들고, 단계적 학습으로 4B 모델에 그 능력을 옮기는 문제를 풀었다.

이 논문은 한마디로 긴 문서에서 증거를 찾아 읽고 계산하고 검증하는 에이전트 조율 프레임워크 DocPilot이다. 최고 성능 백본들에서 정확도를 크게 올렸고 단계적 학습을 거친 4B 모델도 훨씬 큰 모델과 경쟁하는 성적을 보였다.

핵심 요약

연구진은 페이지 탐색, 증거 추출, 부분 확대 검사, 코드 계산, 답 검증, 답 생성의 여섯 동작을 상황에 맞게 조율하는 문서 에이전트 프레임워크 DocPilot을 만들었다.
최고 성능 VLM 백본에서 DocPilot은 MMLongBench-Doc 정확도를 백본별로 10.1, 14.7, 10.8, 13.4점씩 올렸다.
단일 능력 학습 뒤 조율 학습을 거치는 단계적 학습으로, 4B 크기의 DocPilot-4B는 세 벤치마크에서 각각 4.2%, 7.5%, 11.0%의 향상을 보이며 큰 모델과 경쟁했다.
Gemini-2.5-Pro 백본에서 DocPilot은 기존 문서 에이전트 DocLens의 67.6을 72.8로 앞질렀고 DocBench에서는 DocDancer의 79.9를 84.1로 앞질렀다.
문서 간 질문 벤치마크 MADQA에서 GPT-5.4 백본으로 86.5 정확도를 얻었고 문서 간 점수는 89.5로 최고를 기록했다.
답 검증 동작을 빼면 정확도가 73.5에서 64.9로 떨어져, 동작 조율의 핵심이 답 검증임을 확인했다.

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.