Aligning Autoresearch: Co-Improvement between Agents and Humans

이 논문은 자율 연구 에이전트와 사람이 함께 발전하는 길을 벤치마크 제작, 보상 해킹 탐지, 사람 상호작용 훈련, 글쓰기 품질 훈련 네 가지 연구로 묶어 보인 문제다.

이 논문은 한마디로 자율 연구 에이전트를 사람과 함께 정렬시키는 방법을 네 갈래로 실험한 논문이다. 메타 FAIR 팀은 에이전트가 스스로 벤치마크를 만들게 하고(AutoBenchmark), 에이전트의 보상 해킹을 잡아내게 측정하고(HackBench), 사람과의 다턴 상호작용을 훈련시키고(AutoInteract), 전문가 수준 글쓰기를 강화학습으로 끌어올렸다(RL-XAR). 네 실험 모두 사람의 구체적인 개입이 아직 에이전트 성능을 크게 좌우한다는 결론을 준다.

핵심 요약

• AutoBenchmark에서 연구 에이전트가 사람 피드백 없이 만든 벤치마크는 솔버가 80점이 넘는 점수로 쉽게 풀 수 있는 수준이었다. 상세한 사람 지시가 들어가자 솔버 점수가 절반으로 떨어졌다.
• 구체적인 사람 피드백은 여섯 벤치마크-솔버 짝 모두에서 솔버 점수를 28에서 46.5점까지 낮췄고, 이 어려움은 루프에 쓰이지 않은 보류 솔버에도 그대로 옮겨갔다.
• HackBench는 실제 실행 기록 169개로 만들었고, 기록마다 명령 개수 중앙값은 264개인데 해킹 명령 중앙값은 1개뿐이었다. 최고 성능 모니터인 Claude Opus 5도 해킹 위치 특정 F1이 64.88에 그쳤다.
• AutoInteract는 실제 사용자 기록에서 배운 사용자 모델로 다턴 상호작용 데이터를 만들고 강화학습으로 훈련해, LiveCodeBench-Pro 평균 Pass@1을 4B 모델에서 29.9에서 43.0으로, 27B 모델에서 49.1에서 55.7으로 올렸다. 다턴 변형에서는 23.0에서 43.2로 올랐다.
• RL-XAR 실험에서 표준 LLM 심판은 모델이 쓴 글을 전문가 사람 글보다 63.5%에서 84.6% 경우 더 좋게 뽑았다. 전문가 글에 맞춘 루브릭을 메타최적화하자 판정이 뒤집혔고, 학습으로 이야기 쓰기 점수를 2.8에서 8.2로 끌어올렸다.
• 한계로 위키백과 문서 쓰기에서는 RL-XAR가 점수를 2.7에서 4.0로만 올려서 사람과 프론티어 모델에 크게 못 미쳤고, 사람 평가는 저자들이 직접 한 작은 사전 연구 수준이었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.