Agentic-TTT: Training test-time policy for test-time training

이 논문은 어떤 테스트타임 훈련(TTT)을 언제 쓸지 모델이 스스로 결정하지 못하는 문제를, TTT 절차를 도구로 만들고 선택 정책을 강화학습으로 훈련하는 Agentic-TTT로 풀었다.

이 논문은 한마디로 테스트타임 훈련(TTT) 절차를 호출 가능한 도구로 만들고, 언제 TTT가 필요한지 어떤 알고리즘을 부를지 쌓은 기술을 재사용할지를 결정하는 테스트타임 정책을 강화학습으로 배우는 Agentic-TTT를 제안한다. TTT는 상황에 따라 큰 이득도 큰 해도 되기에 매개변수 수준 자기개선에는 판단 주체가 필요하다는 문제의식에서 출발했다. 컴퓨트 페널티를 키우면 정책이 직접 답변 비중을 11.8%에서 39.8%로 높이고 적응 컴퓨트를 35.5% 줄이는 선택적 적응을 학습했다. 중간 페널티에서는 컴퓨트를 약 30% 아끼면서 평균 효용까지 높이는 균형점이 나타났다.

핵심 요약

• Agentic-TTT는 TTT 절차를 호출 가능한 도구로 만들고 축적된 기술을 진화하는 배포 환경으로 다루는 테스트타임 정책을 강화학습으로 훈련한다.
• 컴퓨트 페널티가 0에서 0.4로 커질 때 직접 답변 비중은 11.8%에서 39.8%로 단조 증가하고 적응 컴퓨트는 35.5% 감소했다.
• 중간 페널티(0.1, 0.2)는 컴퓨트를 약 30% 줄이면서 페널티 없음보다 높은 평균 효용을 내는 유리한 균형을 보였다.
• 도구 가중치를 1에서 4로 올리면 최종 효용이 0.046 개선되고 무효 행동률이 4.08%에서 1.72%로 낮아졌다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.