BDH-CQ: In-Context Learning with Recurrent Latent Reasoning

이 논문은 언어 없이 '생각'하는 잠재 추론(latent reasoning)과 문맥 학습을 결합해서, ARC-AGI-1 벤치마크에서 150M 파라미터로 단 0.07센트에 29.5% 정확도를 달성한 연구다.

이 논문은 한마디로 언어 모델이 글자를 일일이 출력하지 않고도 연속적인 '숨은 생각' 공간에서 추론하는 새로운 방법을 제시한다. BDH-CQ라는 1억5천만 파라미터(매우 작은 크기) 모델은 시연 예시를 보고 규칙을 스스로 파악한 뒤, 잠재 공간에서 반복 계산으로 정답을 낸다. ARC-AGI-1(추상 추론 벤치마크)에서 29.5% 정답률을 task당 0.0007달러라는 압도적 저비용으로 달성했다. 이는 기존 비용-정확도 균형(Pareto)을 뛰어넘는 새로운 기준점이다.

핵심 요약

• 토큰(글자)을 출력하지 않고 숨은 상태 공간에서 반복적으로 추론하는 '잠재 추론' 방식을 제안했다.
• 150M 파라미터라는 매우 작은 모델로 ARC-AGI-1 29.5% 정답률을 달성했다 (task당 $0.0007).
• 기존 최고 성능 시스템 대비 비용을 1000분의 1 수준으로 줄이면서도 새로운 비용-정확도 기준을 세웠다.
• 시연 예시만으로 새로운 변환 규칙을 학습하는 문맥 학습 능력과, 색상 매핑·경계 전파·회전 등의 조합 실험을 통해 강점과 한계를 체계적으로 분석했다.
• 1조 파라미터까지 자연스럽게 확장 가능한 아키텍처를 설계했으며, 초기 실험에서 트랜스포머급 스케일링 법칙을 확인했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.