Probabilistic Tiny Recursive Model

확률적 타이니 재귀 모델(PTRM)은 추론 시점의 확률성과 Q-헤드 기반 선택 메커니즘을 결정론적 타이니 재귀 모델(TRM)에 통합한다.

Tiny Recursive Model은 같은 잠재 상태를 반복해서 다듬지만 결정적인 경로 하나만 따라가면 잘못된 해의 영역에 갇힐 수 있다. PTRM은 깊은 재귀 단계마다 가우시안 잡음을 넣은 여러 궤적을 병렬로 탐색하고 기존 Q 헤드가 가장 유망한 답을 고르게 한다. 별도 재학습이나 과제별 입력 변형 없이 추론 시점의 너비와 깊이를 함께 늘릴 수 있다. Sudoku-Extreme 정확도는 87.4퍼센트에서 98.75퍼센트로, Pencil Puzzle Bench의 여러 퍼즐은 62.6퍼센트에서 91.2퍼센트로 향상되었다. 그러나 실험은 작은 격자의 추론 퍼즐과 일부 과제에 집중되었고, Maze-Hard처럼 Q 헤드가 좋은 궤적을 잘 가려내지 못하는 경우에는 탐색 이득을 충분히 쓰지 못했다.

핵심 요약

• 강력하긴 하지만, 이들의 결정론적 재귀는 탈출 메커니즘 없이 차선의 해에 수렴할 수 있다.
• 흔한 우회책은 테스트 시점의 과제별 입력 교란과 투표를 통한 답 집계를 결합하는 데 의존한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.