AutoRSE: Evaluating LLM Agents as Recommendation Engineers for Self-Evolving Recommender Systems

이 논문은 LLM 에이전트가 추천 시스템 알고리즘을 자율적으로 개선하는 능력을 여섯 산업급 과제로 평가하고, 현재 에이전트가 엔지니어링 튜닝에 머문다는 한계를 가려낸 연구다.

이 논문은 한마디로 LLM 에이전트를 추천 시스템 엔지니어로 쓸 때 어디까지 도달했고 어디가 막혔는지를 여섯 과제로 평가한 연구다. 저자들은 AutoRSE라는 평가 틀을 만들어 세 최전선 모델과 세 에이전트 하니스 조합에 각각 GPU 한 대와 12시간 예산을 주었다. 에이전트는 여섯 과제 중 다섯에서 기준선을 꾸준히 웃돌아 평균 16.1% 상대 향상을 냈다. 그러나 궤적 분석 결과 이득의 91.7%가 하이퍼파라미터 튜닝과 모형 결합 같은 엔지니어링 최적화에서 나왔고, 아이디어 주입 실험은 아이디어 생성이 병목임을 보였다.

핵심 요약

• 저자들은 여섯 개 대표 산업급 추천 과제를 아우르는 AutoRSE 평가 틀을 만들었고, 각 과제에서 에이전트는 충실히 재현한 최신 알고리즘과 H200 GPU 한 대, 12시간 최적화 예산을 받았다.
• 세 최전선 모델과 세 하니스의 일곱 조합 가운데 42개 평가 설정 중 35 cases에서 기준선을 넘어, 모든 과제와 설정을 합쳐 평균 16.1%의 상대 향상을 냈다.
• 궤적 분석에서 4425개 실험 가운데 엔지니어링 최적화가 91.7%를 차지했고, 모델 결합이 59.0%, 파라미터 튜닝이 26.2%로 압도적이었으며 알고리즘 혁신은 8.3%에 그쳤다.
• 최종 제출 알고리즘의 평균 신규성 점수는 4.0점 만점에 2.42로 표준 부품 조합 수준에 머물렀고, 신규성 점수가 높을수록 성능 향상도 커져 Pearson 상관계수 r = 0.79를 보였다.
• 최전선 연구와 전문가에서 뽑은 아이디어를 주입하면 스스로 아이디어를 만든 설정보다 평균 13.35% 더 큰 향상과 0.58점 높은 신규성 점수를 얻어서, 아이디어 생성이 병목임을 확인했다.
• 생성형 추천 과제에서는 평균 29.2% 오른 반면 클릭률 예측에서는 3.1%에 그쳐서, 기준선이 덜 익은 분야일수록 에이전트의 이득이 컸다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.