Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models

검색 에이전트가 무엇을 얻었고 무엇이 빠졌는지 스스로 알아채도록 강화학습으로 훈련하는 SARL 프레임워크를 제안한 논문이다.

이 논문은 한마디로 검색 에이전트에 자기 평가 단계를 넣은 강화학습으로 검색 상태 자각을 몸에 익히게 한 연구다. 저자는 평가가 답을 고친 정도에 보상을 주고 평가 남용에 벌점을 주는 이중 보상을 설계했다. 그 결과 열 벤치마크에서 기존 최강 기준선보다 큰 폭으로 앞섰고 긴 검색 구간에서도 훈련이 안정적으로 유지됐다.

핵심 요약

• 검색 에이전트가 이미 얻은 정보와 아직 빠진 정보를 알아차리지 못하면 근거 없는 추론과 이른 검색 중단이라는 두 가지 실패가 생겼다.
• SARL은 생각-검색-답변 반복 뒤에 자기 평가 단계를 붙여, 모델이 자기 궤적을 분리된 맥락에서 다시 살피고 완전한지 판단하게 했다.
• 평가가 답을 고쳤는지에 따라 보상을 주고 평가를 반복해 쓰면 지수 벌점을 더하는 이중 보상으로 훈련했다.
• 열 벤치마크에서 평균 0.429점으로 최강 기준선(ASearcher 0.345)보다 상대적으로 24.3% 좋았고, 멀티홉 추론에서는 평균 35.9%, 딥 리서치에서는 27.9% 올랐다.
• Musique에서 58.1%, FRAMES에서 48.3% 개선을 기록하며 훈련에 안 쓴 과제로도 능력이 옮겨갔다.
• 최대 32턴으로 늘어난 긴 검색 구간에서 기존 방법들은 훈련이 무너졌지만 SARL은 안정성을 유지했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.