Self-Play Pretraining with Zero Data

모델이 스스로 훈련 데이터를 만들어 배우는 자가학습(셀프플레이) 사전학습을 제안했다. 외부 데이터 없이도 컴퓨터만 있으면 계속 성능이 올라가는 길을 열었다.

이 논문은 한마디로 모델이 자기 힘으로 훈련 데이터를 생성하며 스스로 성장하는 사전학습 방법이다. 생성자는 프로그램을 제안하고, 학습자는 그 실행 결과를 다음 토큰 예측으로 배운다. 생성자는 강화학습으로 '지금 학습자에게 가장 배울 만한' 프로그램을 찾아내 적응형 커리큘럼을 만든다. 그 결과 자연어·이미지·음성·DNA 등 안 본 자연 데이터에서 제로샷 성능이 컴퓨트에 따라 예측 가능하게(멱법칙) 향상됐다.

핵심 요약

• 훈련 데이터를 사람이 만들지 않고 모델끼리 자가학습으로 생성하는 사전학습 패러다임을 제안했다
• 생성자는 강화학습으로 학습자 능력의 경계선에 있는 프로그램을 골라 적응형 커리큘럼을 만든다
• 자연 데이터를 전혀 안 쓰고도 자연어·이미지·음성·DNA 등 제로샷 성능이 컴퓨트에 따라 멱법칙으로 향상됐다
• 학습자는 본 적 없는 과제에서도 인컨텍스트 러닝을 보였고, 생성자는 알려진 수학 수열을 스스로 발견했다
• 데이터 큐레이션 병목 없이 컴퓨트만으로 성장하는, '비터 레슨'을 훈련 데이터까지 확장하는 방향의 초기 증명이다

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.