Small-Scale Experiments: Are We There Yet?

이 논문은 작은 모델에서도 스케일링 법칙을 관찰할 수 있지만, 모델이 작을수록 좋은 학습 설정을 찾기 위해 훨씬 넓게 탐색해야 한다는 점을 보였다.

이 논문은 한마디로 작은 모델의 실험 결과가 큰 모델로 잘 이어지지 않는 주된 원인이 모델 크기보다 학습 설정이라고 설명한다. 학습률처럼 학습 전에 정하는 값을 하이퍼파라미터라고 한다. 저자들은 약 400만 개부터 2억 6,800만 개 매개변수까지 실험했고, 작은 모델에서는 수백 가지 설정을 확인해야 정확한 스케일링 법칙이 나타남을 보였다. 모델이 커질수록 좋은 설정의 범위는 넓어졌지만, 작은 규모에서 너무 먼 크기를 예측하면 통계 오차가 커졌다.

핵심 요약

• 약 400만 개부터 2억 6,800만 개 매개변수까지 실험했다. 스케일링 법칙은 400만 개부터 3,400만 개 모델로 맞추고 더 큰 모델로 검증했다.
• 크기별 설정을 4개나 16개만 시험하면 법칙이 보이지 않았고, 64개에서는 부정확했으며 256개에서 정확한 법칙을 얻었다.
• 작은 모델은 학습 설정에 매우 민감했지만 모델이 커질수록 민감도가 낮아졌고, 최적점 부근에서 영향력이 큰 하이퍼파라미터 수는 1개 수준까지 줄었다.
• 작은 규모에서 얻은 법칙은 약 10배 큰 모델까지는 잘 맞았지만, 더 먼 규모에서는 표본 오차가 크게 늘었다.
• 이 방법으로 모델이 커질수록 사전 정규화가 더 유리하다는 대규모 결과를 재현했다. 다만 손실과 능력의 대응 관계는 사전 학습 자료의 구성을 같게 유지할 때만 적용된다고 밝혔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.