RANGER: Retrieval Agent for Navigating Graphs with Semantic Evaluation Rewards

지식 그래프 질의응답에서 LLM이 강화학습 에이전트의 보상 설계자가 되어 그래프 탐색 정책을 더 의미 있게 만드는 문제를 풀었다.

이 논문은 한마디로 LLM을 강화학습 에이전트의 멘토로 써서 지식 그래프에서 질의에 필요한 정보를 찾는 탐색 정책을 훈련한 연구다. 트랜스포머 정책 에이전트가 그래프를 직접 탐색하고, LLM이 그 경로가 질의를 논리적으로 뒷받침하는지 평가해 보상을 준다. 질문-정답 쌍은 지식 그래프에서 자동으로 만들어 사람 라벨 없이 훈련했다. 실험에서 LLM 기반 보상이 규칙 기반 휴리스틱 보상보다 최종 답 품질을 더 크게 올렸다.

핵심 요약

• LLM을 멘토로 써서 강화학습 에이전트가 찾은 경로의 의미 관련성을 Success, Highly Relevant, Failure 세 단계로 평가하고 각각 1, 0.5, 0의 보상을 줬다.
• 트랜스포머 정책 에이전트를 GRPO로 훈련해 지식 그래프를 직접 탐색하며 질의에 필요한 삼중항을 모으게 했다.
• HotpotQA 단독 검색에서 LLM 보상을 쓴 RANGER가 WaterCircles 대비 LLM-as-a-Judge 점수를 약 3.6%, 휴리스틱 보상 GRPO 대비 약 3.0% 올렸다.
• 하이브리드 검색에서는 WaterCircles 대비 LLM Judge 점수를 HotpotQA에서 약 20.4%, TriviaQA에서 4.4%, DiaASQ에서 7.7% 올렸다.
• 멘토 LLM을 Mistral Small 3.2 (24B)에서 Ministral 3 (8B)로 줄이면 성능이 WaterCircles 기준선 아래로 떨어졌다.
• 질문-정답 쌍을 지식 그래프 자체에서 자동 생성하는 자기지도 방식으로 사람이 라벨링한 데이터 없이 에이전트를 훈련했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.