The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators

에이전트와 평가자를 공동 진화시키는 자기개선 프레임워크 RQGM을 제안한다. 고정된 평가 기준의 한계를 극복하고 비정상적 유틸리티에서도 재귀적 자기개선을 보장한다.

Red Queen Gödel Machine(RQGM)은 자기개선 에이전트와 이를 평가하는 학습된 평가자를 공동 진화시키는 프레임워크다. 핵심 메커니즘인 '제어된 유틸리티 진화'는 탐색을 에폭으로 나누어 에폭 내에서는 고정 평가 기준을 유지하되, 에폭 경계에서 평가자를 더 강한 것으로 교체할 수 있게 한다. 코딩 작업에서는 저렴한 코드 리뷰 신호를 추가해 이전 SOTA 대비 1.35~1.72배 적은 토큰으로 더 높은 합격률(71.7% vs 69.9%)을 달성했다. 논문 작성·심사, 올림피아드 수준의 증명 작성·채점 영역에서도 공동 진화된 작성자가 1.78~1.86배 높은 수용률을 기록했고, 공동 진화된 채점자는 9% 더 높은 정확도를 달성했다. 또한 적대적 목표를 에폭 경계에서 주입해 AI 생성 논문에 관대한 심사자의 자기선호 편향을 교정할 수 있음을 보였다.

핵심 요약

• 제어된 유틸리티 진화: 에폭 내 고정 기준 + 에폭 경계 교체로 비정상 유틸리티에서도 자기개선 보장을 유지
• 코딩 작업(Polyglot)에서 agent-as-a-judge 코드 리뷰 신호 추가로 이전 SOTA 대비 +1.8%p 합격률, 1.35~1.72× 적은 토큰 사용
• 논문 작성 영역에서 공동 진화된 작성자의 수용률 21.8%→40.5% (1.86× 향상)
• IMO 수준 증명 채점에서 공동 진화된 채점자가 고정 기준선 대비 3× 적은 탐색 비용으로 더 높은 정확도 달성
• 에폭 경계에 적대적 목표를 주입해 AI 생성 논문에 대한 심사자 자기선호 편향(AI 1.91× 과수용)을 교정
• 평가자가 강해질수록 작업 에이전트에게 커리큘럼 효과를 제공해 아카이브 재순위화와 점진적 강화를 유발

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.