Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation

이 논문은 기계번역에서 언제 검색하고 무엇을 검색할지를 강화학습으로 배우는 SRAT 프레임워크를 만들었다.

이 논문은 한마디로 검색 증강 기계번역에서 검색 여부와 검색 내용을 하나의 정책으로 배우는 에이전트 강화학습 프레임워크 SRAT를 제안했다. 기존 시스템은 모든 입력에 같은 검색 규칙을 적용했지만, 이 논문은 번역이 부분 증거 체계라 보고 모델 안의 지식으로 충분한 경우 검색을 건너뛰도록 했다. 최종 번역 품질을 보상으로 GRPO 로 정책을 학습시키고, 검색기는 번역 품질에 맞추도록 Plackett–Luce 공동 최적화와 대조 학습으로 정렬했다. 관용구, 지식 집약, 문서 단위 번역 실험에서 SRAT 는 검색 안 함과 항상 검색 기준을 모두 이겼다.

핵심 요약

• 모델이 추론, 검색 질의 생성, 번역을 한 흐름 안에서 선택하는 정책으로 배우게 했다.
• 최종 번역 품질을 보상으로 GRPO 로 학습해서 어떤 입력에서 검색할지 스스로 판단하게 했다.
• 검색기를 번역 품질에 맞추기 위해 Plackett–Luce 공동 최적화와 번역 품질 대조 학습 두 가지 방법을 만들었다.
• IdiomKB Zh→En 에서 SRAT 는 I5 0.731, MQM -2.74 로 가장 강한 기준 방법들을 이겼다.
• RAGtrans 에서 대조 학습이 검색 정확도를 En→Zh 56.3%에서 70.7%로, En→De 72.6%에서 81.4%로 올렸다.
• Claude Sonnet 4.6 을 얼린 검은 상자 번역기와 함께 쓸 때 SRAT-Claude 는 RAGtrans En→De MQM 을 직접 번역 대비 16.8% 개선했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.