Loop the Loopies!

같은 트랜스포머 층을 반복 재사용(루핑)해서 파라미터 대비 성능을 극대화한 MoE 언어모델 시리즈다. 같은 컴퓨트 예산에서 일반 트랜스포머를 능가한다.

이 논문은 한마디로 트랜스포머를 반복 실행(루핑)해서 성능을 끌어올린 MoE 언어모델이다. Loopie-20B-A2B와 Loopie-6B-A0.6B를 만들었고, 같은 사전학습 컴퓨트 예산에서 일반 트랜스포머보다 더 나은 성능을 보였다. 후속학습으로 수학/코드 추론을 추가해 IMO와 IPhO에서 금메달 수준의 성능을 달성했다.

핵심 요약

• 층 단위 루핑(layer-loop) 방식을 도입해 기존 모델 전체 루핑(model-loop)보다 MoE에서 더 효율적임을 보였다.
• 같은 컴퓨트 예산에서 vanilla 30B-A3B 모델을 능가했다.
• AIME 92.10%, AMC 94.21%로 동급 최고 수학 추론 성능을 기록했다.
• IMO 2025와 IPhO 2025에서 도구 없이 금메달 수준 성능을 달성했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.