OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video

이 논문은 이미지 한 장, 여러 장, 동영상을 한 에이전트로 묶어 화면 속 단서를 웹 검색 결과와 연결해 답을 찾게 만든 멀티모달 딥리서치 연구다.

이 논문은 한마디로 이미지와 동영상을 모두 다루는 딥리서치 에이전트 OneSearch-VL을 만든 연구다. 핵심은 화면 속 대상의 위치, 그 대상의 실제 이름, 출처가 있는 웹 사실, 답을 만드는 연산을 그래프 하나(VGEG)로 묶어 데이터 생성, 학습 보상, 평가에 함께 쓰는 것이다. 웹 동영상 2.5M개를 70k개로 추려 학습 궤적 약 110k개와 강화학습 과제 약 10k개를 만들었고, 근거 추적과 시각 근거 두 기준으로 매기는 보상(EVGR)을 더했다. 8B 모델이 같은 크기 Qwen3-VL-8B 에이전트보다 새 벤치마크 두 개에서 20.2점과 17.6점, VideoDR에서 27.0점 높았다.

핵심 요약

• 화면 속 대상의 위치, 실제 이름, 출처가 있는 웹 사실, 답을 만드는 연산(비교, 계산, 세기 등)의 연결을 VGEG 그래프 하나로 묶어 데이터 생성, 학습 보상, 평가에 함께 썼다.
• 웹 동영상 2.5M개를 70k개로 추리는 데이터 엔진으로 학습 궤적 약 110k개(이미지 36k, 여러 이미지 37k, 동영상 35k)와 강화학습 과제 약 10k개를 만들었다.
• 강화학습 보상에 정답 여부와 검색어 품질 외에, 도구 결과가 필요한 사실을 실제로 뒷받침했는지(근거 추적)와 맞는 대상과 장면을 찾아 썼는지(시각 근거)를 따로 매기는 EVGR을 더했다.
• OneSearch-VL-8B는 같은 크기 Qwen3-VL-8B 에이전트보다 OneSearch-MI-Bench에서 20.2점, OneSearch-Video-Bench에서 17.6점, VideoDR에서 27.0점 높았고, 이미지 벤치마크 평균은 58.3으로 OpenSearch-VL-8B보다 1.7점 높았다.
• 세 가지 입력을 함께 학습한 SFT 모델은 벤치마크 평균 55.8로 한 종류만 학습한 경우(51.7~55.1)보다 높았고, EVGR 보상은 평균을 57.3에서 61.1로 올렸다.
• 저자는 외부 검색 도구와 바뀌는 웹페이지 때문에 결과를 똑같이 재현하기 어렵고, 자동으로 만든 VGEG와 모델 판정 보상에 주석 오류나 판정 편향이 섞일 수 있다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.