SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning

이 논문은 자기진화 LLM에서 학습 경험이 에이전트 능력과 어긋나는 문제를, 합성기와 추론기를 다중 에이전트 강화학습으로 공동 훈련하는 SynCo로 풀었다.

이 논문은 한마디로 학습 과제를 만드는 합성기(Synthesizer)와 문제를 푸는 추론기(Reasoner)를 다중 에이전트 강화학습으로 공동 최적화해, 에이전트 능력에 맞게 훈련 경험 자체가 진화하는 프레임워크 SynCo를 제안한다. 정적 데이터셋에 의존하는 기존 파이프라인은 쉬워진 과제가 시시해지고 어려운 과제는 여전히 정보를 주지 못해 지속적 자기개선이 막히는데, SynCo는 합성기가 추론기의 진화하는 능력에서 가르칠 수 있는 과제를 계속 만들어낸다. 수학 추론에서 78.72%로 최강 외부 기준선을 3.76포인트 앞섰고, 훈련이 진행될수록 전부 정답인 과제 비중이 34.4%에서 59.9%로 늘며 과제 난이도가 추론기 성장을 따라가는 것을 확인했다. 가르칠 수 있음은 그래디언트를 주는 과제 속성과 상관 0.934로 강하게 묶이고 새로움과는 무관하다는 분석도 제시했다.

핵심 요약

• SynCo는 독립 파라미터를 가진 합성기와 추론기를 다중 에이전트 강화학습으로 공동 최적화하는 데이터 합성 공동 훈련 프레임워크다.
• 합성기가 추론기의 진화하는 능력에서 훈련 과제를 만들어, 정적 데이터셋에서 벌어지는 능력-경험 불일치를 해소했다.
• 수학 추론에서 SYNCO는 78.72%에 도달해 최강 외부 기준선보다 3.76포인트, 고정 합성기보다 2.87포인트 앞섰다.
• 훈련 후반으로 갈수록 그래디언트를 주는 과제 비중은 31.3%에서 9.5%로 줄고 전부 정답인 과제는 34.4%에서 59.9%로 늘었다.
• 검증된 2,940개 과제 중 16.2%만 비퇴화 피드백을 주며, 가르침 가능성은 이 속성과 상관 0.934, 새로움과는 -0.041로 무관했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.