Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers

루프 트랜스포머에서 고정점(fixed-point) 수렴을 종단 halting 메커니즘으로 사용하는 모델. 난이도별 적응적 연산량 할당으로 Sudoku/Maze/ARC-AGI에서 강력한 성능.

Fixed-Point Reasoner(FPRM)는 루프 트랜스포머의 신호 전파 문제를 pre-norm과 residual scaling으로 해결하고, 고정점 수렴을 end-to-end halting으로 사용한다. 체인 규칙 기반 하강의 수학적 정당성과 함께 어려운 문제일수록 더 많은 반복을 수행하는 적응성을 확보한다.

핵심 요약

• 루프 아키텍처의 깊이에 따른 신호 전파 문제를 pre-norm + residual scaling으로 해결
• 고정점 수렴을 end-to-end halting 메커니즘으로 도입하여 외부 halting 모듈 불필요
• 문제 난이도에 따라 반복 횟수가 자동 조절되는 적응적 연산 보장
• Sudoku Extreme에서 TRM 대비 정확도 +10%p, 약 27% 적은 연산량으로 동등 성능
• Maze, 상태 추적, ARC-AGI 등 조합 추론 벤치마크에서 일관된 향상
• 수학적 고정점 정리에 기반하여 halting 결정의 이론적 정당성 제공

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.