Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning

Carnegie Mellon University의 연구진은 잠재 공간에서 작업 조건화된 어트랙터를 활용해 확장 가능하고 일반화 가능한 추론을 달성하는 반복적 모델 프레임워크인 Equilibrium Reasoners(EqR)를 개발했다.

Equilibrium Reasoners는 반복 추론의 일반화가 정답에 해당하는 안정된 잠재 상태인 과제 조건부 어트랙터를 학습하는 데서 나온다고 본다. 모델은 반복 횟수를 늘리는 깊이 확장과 여러 초기 상태의 확률적 궤적을 합치는 너비 확장을 함께 사용하며 외부 검증기나 과제별 사전지식을 요구하지 않는다. 실험에서는 추론 시점 계산을 늘렸을 때의 성능 향상이 정답 어트랙터로 더 강하게 수렴하는 현상과 밀접하게 연결되었다. 쉬운 문제는 1회에서 5회 반복으로 수렴하고 어려운 문제는 더 많은 반복에서 계속 이득을 얻어 난이도에 따라 계산량을 조절할 수 있었다. Sudoku-Extreme에서는 최대 4만 개 층에 해당하는 반복으로 순방향 모델의 2.6퍼센트 정확도를 99퍼센트 이상으로 높였지만 그만큼 큰 추론 시점 계산이 필요할 수 있다.

핵심 요약

• Maze-Unique: 저자들은 작업의 모호성이 어트랙터 학습에 "독"이라는 사실을 발견했다. 여러 해가 존재하는 데이터셋(미로의 서로 다른 최단 경로 등)에서는 모델이 안정적인 어트랙터를 형성하기 어렵다. 경로가 유일하도록 미로 작업의 변형 버전을 만들어, EqR이 복잡한 30x30 미로를 높은 신뢰도로 풀 수 있을 만큼 확장됨을 입증했다.
• 규모 일반화: 테스트 시점에 단순히 반복 횟수를 늘림으로써 학습 중에 본 복잡도를 훨씬 뛰어넘어 일반화한다.
• 자가 진단: 고정점 잔차는 외부 검증기를 필요로 하지 않는 내장형 신뢰도 점수를 제공한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.