RMIT-ADM+S at TREC RAG 2026: Research Agents, Retriever Ablations, and Open-Weight Replication
- 발행일
- 출처
- arXiv
- 논문 번호
- 1462
- 분야
- RAG / Agents
- arXiv 번호
- 2611.16425
이 논문은 TREC RAG 2026에서 리서치 에이전트 일곱 구성을 비교해 작성 모델 선택과 인접 청크 확장이 품질을 좌우한다는 것을 밝혔다.
이 논문은 한마디로 상용 모델과 오픈 웨이트 모델로 만든 일곱 개 리서치 에이전트를 TREC RAG 2026 트랙에 제출해 검색 전략과 작성 모델, 에이전트 흐름의 효과를 가른 실전 보고다. 제출 전 소거 실험에서는 작성 모델 선택과 인접 청크 확장이 답변 품질의 주요 인자였다. 공식 평가에서 일곱 실행 중 여섯이 세 평가 청크 모두에서 트랙 중앙값을 넘었다. 사람의 나란히 비교 선호는 자동 커버리지 지표와 다르게 갈렸다.
핵심 요약
- 연구진은 상용 OpenAI 모델과 오픈 웨이트 모델을 쓴 일곱 개의 리서치 에이전트 실행을 TREC RAG 트랙에 제출하고 검색 전략, 작성 모델, 에이전트 흐름을 비교했다.
- 제출 전 소거 실험에서 작성 모델 선택이 품질에 가장 큰 영향을 주었고 인접 청크 확장이 그다음 주요 인자였다.
- 공식 평가에서 일곱 실행 중 여섯이 세 루브릭과 너겟 청크 모두에서 트랙 중앙값을 넘었고 최고 실행인 brief-hybrid는 Batch-1 필탈 커버리지에서 트랙 최고값과 0.892로 동점을 이뤘다.
- 하이브리드 검색은 brief-base보다 검색 횟수를 14.4% 줄이고 처리 토큰을 8.2% 줄여 명확한 효율 개선을 보였다.
- 사람의 나란히 비교에서는 평가 묶음마다 선호가 갈려 오픈 웨이트 owa-glm5가 낮은 자동 커버리지에도 Batch 1에서 앞섰고 sol-research-first가 Batch 2에서 앞섰다.
- owa-glm5의 주제당 생성 비용은 0.524달러로 sol-research-first의 2.823달러보다 훨씬 낮았다.
논문 링크
외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.