IoDResearch: Deep Research on Private Heterogeneous Data via the Internet of Data

이 논문은 Deep Research agent가 웹 검색에 치우쳐 사용자의 private 이종 데이터 검색 효율이 낮은 문제를, 데이터를 식별자와 metadata가 붙은 digital object와 여러 단위로 검색되는 graph index로 바꾸고 multi-agent가 검색, 답변, 보고서 작성을 맡는 IoDResearch로 풀었다.

이 논문은 한마디로 사용자의 로컬 private 이종 데이터를 대상으로 하는 Deep Research 시스템이다. 원자료를 Internet of Data(IoD)라는 데이터 네트워크 방식에 따라 DOI(Digital Object Identifier)와 metadata가 붙은 digital object(DO)로 감싸고, vector, atomic knowledge, knowledge graph로 다듬어 여러 단위로 검색하게 하며, Planner, Worker Team, Reporter Team으로 된 multi-agent가 답변과 보고서를 만든다. 저자들이 만든 네 분야 benchmark에서 DO 검색 F1 82.64, 분야 간 질의응답 정확도 59.40, 보고서 전문가 점수 7.01(단일 분야)로 비교한 RAG(retrieval-augmented generation)와 Deep Research baseline보다 높았다.

핵심 요약

• 문제: 과학 데이터는 흔히 출처가 여럿이고 형식과 모달리티가 제각각이며, 통일된 표현 표준과 상호 운용 장치가 부족해 활용 효율이 낮다(예: 재료과학 연구는 보통 실험, 시뮬레이션, 문헌 기록에서 나온 이종 데이터를 다룬다). 기존 Deep Research agent는 주로 웹 검색에 기대고 로컬 이종, multimodal 데이터 탐색은 제한적이어서, private 데이터 검색 효율이 낮고 FAIR(찾을 수 있고, 접근할 수 있고, 상호 운용되고, 재사용할 수 있는 데이터) 원칙에서 벗어나는 경우가 많다.
• 입력과 출력: 사용자의 private 이종 데이터(논문, 데이터셋, 이미지, 표 등)와 질문 또는 보고서 주제를 받아, 관련 DO, 사실 답변, 구조화된 과학 보고서 가운데 하나를 낸다. 논문 종류는 데이터 표현과 multi-agent Deep Research 시스템을 구현해 실험한 시스템 논문이며, 직접 만든 IoD Deep Research Benchmark도 함께 제안한다.
• 방법: 원자료는 DOI와 metadata를 붙인 DO로 감싸고, 긴 문서는 chunk마다 Level-2 DO로 나누며, LLM이 요약, 가상 질문, 분류 label, keyword 같은 속성을 metadata에 더한 뒤 분야별 IoD를 하나의 IoD 네트워크로 잇는다. knowledge refinement 층은 vector, 더 쪼갤 수 없는 사실 단위인 atomic knowledge(예: 아스피린의 일반 복용량 300 mg), LLM으로 뽑은 knowledge graph를 만들고, MCP(Model Context Protocol) tool이 DO, chunk, 사실과 subgraph의 세 단위로 keyword, vector, graph 추론, hybrid 검색 등을 제공한다. IoDAgents는 계획을 세워 사용자 확인을 받는 Planner, 검색 결과를 LLM으로 걸러 내고 근거가 부족하면 질의를 고쳐 다시 찾으며 분석과 시각화에는 code tool을 쓰는 Worker Team, 보고서를 쓰는 Writer와 검색 근거와 어긋난 곳을 바로잡는 Checker로 된 Reporter Team으로 나뉜다.
• 구현: 문서 파싱에는 MinerU 같은 open-source tool을 쓰고, 모든 비교 방법은 같은 원자료와 같은 base LLM인 Qwen-Turbo로 실행했다. benchmark는 중국 법률, 지구물리 탐사, 컴퓨터 과학, 분자 동역학 네 분야의 문서와 논문 500편 이상(약 6 million token)을 DO로 감싸 만들었고, DO 검색 200문항, RAG 기반 질의응답 800문항(단일 분야 400, 분야 간 multi-hop 400), 보고서 작성 60문항(단일 분야 30, 분야 간 30)으로 이뤄진다. 보고서는 Qwen-Turbo(temperature 0)가 다섯 기준으로 세 번 매긴 평균과, 같은 기준에 사실 정확성을 더해 방법을 모른 채 매긴 전문가 점수로 평가했다.
• 결과: Task 1인 DO 검색에서 IoDResearch는 F1 82.64(precision 76.26, recall 90.18)로 LightRAG 78.93, DO-RAG 76.21, Naive RAG 62.05보다 높았다. Task 2 질의응답의 답 정확도는 단일 분야 79.98, 분야 간 59.40으로, 이 과제의 baseline 세 개(Naive RAG, DO-RAG, LightRAG) 가운데 가장 높은 LightRAG의 75.55와 56.67을 넘었다. Task 3 보고서 작성의 전문가 점수는 단일 분야 7.01, 분야 간 6.45로 비교한 방법 가운데 가장 높은 DeepSearcher의 6.77과 6.02보다 높았고, multi-agent 부분을 뺀 ablation은 6.56과 5.94로 낮아졌다.
• 한계: 저자들은 현재 pipeline이 주로 텍스트 기반이라 multimodal 데이터는 전처리와 context 구성에서 정보가 빠질 수 있다고 밝혔고, end-to-end multimodal pipeline과 post-training 연구는 다음 과제로 남겼다. 실험은 저자들이 만든 benchmark의 네 분야에서 base LLM 하나(Qwen-Turbo)로 했고, LLM 평가 모델도 같은 Qwen-Turbo다. DeepSearcher와의 비교는 보고서 작성 과제 하나에서 이뤄졌고, 결론은 고른 baseline과 평가한 과제 설정 안에서 앞섰다고 범위를 한정한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.