JevGPT: Thinking Fast and Slow in Autonomous Research

이 논문은 연구 agent가 검색으로 찾은 관련 문서 가운데 일부만 실제 근거로 쓰는 문제를, 빠른 판단 모델이 문서를 병렬로 판정해 근거 문단을 골라 계획 모델에 돌려주는 두 시스템 구조로 풀었다.

이 논문은 한마디로 연구 계획을 맡는 LLM(System Two)과 문서를 빠르게 판정하는 모델(System One)을 나눈 연구 agent 구조다. System Two인 GPT-5.5가 검색어와 근거 요청을 만들고, System One인 Jev가 후보 문서를 병렬로 판정해 고른 원문 문단을 판정 결과와 함께 돌려준다. 질문 답변 benchmark인 BrowseComp-Plus 830문항에서 정확도는 90.48%로 비교한 agent 가운데 가장 높았고, 문항당 검색은 9.13회로 가장 적었으며 시간은 91.7초로 가장 짧았다. 문서 순위 benchmark인 NeuCLIRBench 105개 주제에서도 nDCG@20(상위 20개 문서의 순위 품질 점수)이 0.5390으로 가장 높았다.

핵심 요약

• 문제: 연구 agent는 정해진 예산 안에서 근거를 모아야 하고, 검색이 내놓은 후보 문서는 열어 봐야 다음 판단에 쓸 수 있다. 검색 범위(retrieval coverage)가 넓어도 실제 판단에 쓰이는 근거는 그보다 좁을 수 있고, 이 논문은 그 차이를 줄이는 것을 목표로 한다.
• 입력과 출력: 고정된 문서 모음(corpus)과 질문 하나 또는 검색 주제 하나를 받아, 질문이면 답을, 주제면 문서 순위 목록을 낸다. 논문 종류는 구현과 실험을 갖춘 시스템 논문이다.
• 방법: System Two는 과제에서 아직 확인이 필요한 부분을 검색어나 근거 요청(evidence request)으로 바꾸고, 돌아온 근거를 모아 다음 행동과 최종 답을 정한다. System One은 확률, 보기 선택, 단계 점수 세 가지 판정을 후보 문서에 병렬로 실행해, 질문 과제에서는 근거 문단 위치를 찾고(Evidence Localization) 순위 과제에서는 관련도를 매긴 뒤(Relevance Assessment) 고른 원문 문단을 위치, 판정 결과와 함께 돌려준다. Evidence Discovery는 System Two가 일하는 동안 검색 상위 후보를 원래 질문 기준으로 미리 판정해 새 단서를 연구 기록에 넣는다.
• 구현: 주 실험은 System Two에 GPT-5.5(medium reasoning effort), System One에 TypeSafe AI의 빠른 판단 모델 Jev-1.13.0을 쓰고 과제마다 300초 연구 예산을 준다. 검색은 문서 BM25(낱말 일치 기반 검색 점수)와 문단 최고 BM25 점수를 각각 min-max 정규화해 같은 비중으로 더한 Hybrid BM25다. 공식 저장소 README 기준으로 JevGPT runtime, 고정 설정, 평가 script, 표 1과 2의 문항별 기록이 공개됐고, 새 실험을 실행하려면 GPT와 Jev 접근 권한과 benchmark index가 필요하다.
• 결과: BrowseComp-Plus 830문항에서 JevGPT 정확도는 90.48%로 가장 높았던 baseline인 Reason-ColBERT의 90.00%를 넘었고, 문항당 API 비용은 System Two $0.6081과 System One $0.0600으로 Reason-ColBERT의 $1.6090보다 낮았다. NeuCLIRBench 105개 주제에서는 nDCG@20(상위 20개 문서의 순위 품질 점수)이 0.5390으로 가장 강한 research baseline인 Pi-Serini의 0.5240보다 높았다. GPT-5.6 Terra로 415문항에서 한 ablation에서는 Pi-Serini에 Hybrid BM25, Evidence Localization, Evidence Discovery를 차례로 더하자 정확도가 72.05%에서 86.51%로 올랐다.
• 한계: 평가는 고정 corpus 위의 질문 답변과 문서 순위 매기기 두 가지이고, 열린 웹 연구와 긴 글 작성으로 넓히는 일은 저자들이 다음 과제로 남겼다. 빠른 판단과 긴 추론은 별도 component로 나뉘어 있고, 언제 어느 쪽을 쓸지 함께 학습하는 단일 모델은 다음 단계로 제시됐다. ablation에서 Evidence Localization을 더하면 검색 수는 줄었지만 model 사용량과 API 비용은 늘었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.