Super Research: Answering Highly Complex Questions with Large Language Models through Super Deep and Super Wide Research

이 논문은 깊이와 넓이를 함께 요구하는 초고난도 연구 질문을 LLM agent가 얼마나 푸는지 재기 어려운 문제를, 전문가 질문 300개와 정답 Research Graph에 보고서를 대조하는 benchmark로 풀었다.

이 논문은 한마디로 전문가가 쓴 초고난도 질문 300개로 deep research agent의 상한을 재는 benchmark다. benchmark 통계로 질문당 추론 단계 수는 평균 97, 최대 142이고, 검색한 웹 페이지 수는 평균 601, 최대 1,267이다. 생성된 보고서는 사실 노드와 통찰 노드를 근거로 이은 정답 Research Graph와 문답 시험에 대조해 coverage, 논리 일관성, 유용성, 객관성, 인용 건전성으로 채점한다. 평가한 12개 시스템 가운데 가장 높은 Gemini Deep Research의 Overall 점수도 28.62였다.

핵심 요약

• 문제: 기존 Deep Research와 Wide Search는 보통 검색 10회에서 20회, 웹 페이지 약 100개 범위에서 작동하며, 각각 주로 깊이나 넓이 한쪽에 집중한다. 장기 계획, 대량 근거 수집, 이질적 출처 종합이 함께 필요한 질문을 LLM이 얼마나 푸는지는 대부분 미개척 영역으로 남아 있다. 저자들은 기존 평가가 이런 질문에 부적합하다고 보고, LLM이 보고서끼리 비교해 채점하는 LLM-as-a-Judge의 정렬 오류, 단편 사실 위주 지표, 비싼 사람 평가, 불확실성 표현의 무시를 문제로 들었다.
• 입력과 출력: 이 논문은 benchmark 논문이다. 평가 대상 시스템은 전문가가 쓴 질문 하나를 받아 인용이 달린 긴 연구 보고서를 내고, benchmark는 그 보고서를 질문마다 미리 만든 Research Graph(사실과 통찰 노드를 근거로 이은 정답 graph)와 문답 시험에 대조해 점수를 낸다. 질문은 10개 분야의 300개이며, benchmark 통계로 질문당 추론 단계 수는 평균 97, 최대 142이고 검색한 웹 페이지 수는 평균 601, 최대 1,267이다.
• 방법: GPT-4o와 Gemini deep research agent가 후보 과제를 만들고, 박사과정생과 현업 전문가가 환각을 걸러낸 뒤 공개 검색으로 풀 수 있고 단순 키워드 검색 이상으로 복잡하며 뜻이 하나로 읽히는 과제만 남겼다. 정답은 Planner, Researcher, Summarizer agent의 조사 결과에서 사람과 LLM이 URL에 묶인 사실 노드와 상위 통찰 노드를 이어 만든 Research Graph, 전문가가 검수한 표준 보고서, 문답 시험으로 이뤄진다. 점수는 계층 가중 노드 recall, 사실까지 근거 경로가 온전히 이어진 결론의 비율에 graph coverage를 곱한 값, 보고서만 보고 푸는 시험 점수, 논쟁 주제의 입장 보정 정도를 가중 평균하고, 단일 출처 의존도는 따로 진단한다.
• 구현: 평가한 시스템은 12개로, Gemini, Sonar, Tongyi, o3, o4-mini Deep Research 다섯 개, 검색이 내장된 Kimi-k2와 Grok-4-1-fast, 그리고 LangGraph와 Tavily 검색으로 만든 공통 agent에 DeepSeek-r1, MiniMax-m2.1, Claude-3.5-sonnet, Qwen-2.5-72B, Llama-3.3-70B를 넣은 baseline 다섯 개다. 저자들은 보고서 열람, graph projection, 시험 문항 수정, 최종 audit을 지원하는 웹 분석 도구를 만들었고, 초록에는 leaderboard 주소를 적었다.
• 결과: 평가한 12개 시스템 가운데 가장 높은 Gemini Deep Research도 Overall 28.62였고 Sonar Deep Research 27.04, Kimi-k2 26.16이 뒤를 이었으며, LangGraph baseline은 16에서 23 사이에 몰렸다. Gemini는 Coverage 33.15에 비해 Logical Consistency가 22.92로 낮았고, 저자들은 논리 일관성이 공통 성능 병목으로 보인다고 적었다. 보고서 120개에서 핵심 사실이나 통찰 1개에서 3개를 빼거나 관련 사실 1개에서 3개를 넣었을 때, graph 지표는 57.4%에서 79.6%의 비율로 맞는 방향으로 움직였고 LLM judge는 14.8%에서 22.2%였다.
• 한계: 저자들은 이런 초고난도 질문이 일반 응용에서는 드물 수 있다고 밝히고, 이 benchmark를 상한 시험(ceiling evaluation)으로 규정했다. 민감도 실험은 12개 모델과 10개 과제에서 나온 보고서 120개로 했고, 평가 모델을 바꾼 일관성 비교에서 Coverage는 graph 방식의 변동 4.42%가 LLM judge의 3.88%보다 컸다. 저자들은 대량 근거를 종합하는 agent가 환각을 누적해 사람이 그럴듯한 보고서에 과하게 기댈 위험과 높은 계산 비용도 짚었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.