Recursive Language Models

재귀 언어 모델(Recursive Language Models, RLMs)은 대규모 언어 모델이 1,000만 토큰을 초과하는 프롬프트를 처리하고 방대한 정보에 대해 복잡한 추론을 수행할 수 있게 하는 추론 시점 패러다임을 도입한다.

재귀 언어 모델(Recursive Language Models, RLMs)은 대규모 언어 모델이 1,000만 토큰을 초과하는 프롬프트를 처리하고 방대한 정보에 대해 복잡한 추론을 수행할 수 있게 하는 추론 시점 패러다임을 도입한다. 이 접근법은 사용자 프롬프트를 프로그래밍 환경 안의 외부 객체로 취급하여, 다양한 장기 과제에서 컨텍스트 윈도우 한계와 성능 저하를 완화한다.

핵심 요약

• 대규모 언어 모델(LLM)은 유한한 컨텍스트 윈도우에 제약을 받아, 수백만 토큰에 달하는 많은 실제 '장기 과제'에 적용하기 어렵다.
• LLM은 '컨텍스트 부패(context rot)' 현상을 보이는데, 이는 고정된 컨텍스트 윈도우 안에서도 입력 길이가 증가할수록 성능이 저하되는 현상으로, 특히 밀집된 정보 접근이 필요한 과제에서 두드러진다.
• 압축·요약이나 과제별 에이전트 시스템 같은 기존의 긴 컨텍스트 관리 방법은 정보 손실, 제한된 일반화 가능성, 또는 여전히 근본적인 LLM의 컨텍스트 윈도우 한계에 직면하는 등의 이유로 부적절한 경우가 많다.
• 임의로 긴 사용자 프롬프트를 LLM의 컨텍스트 윈도우에 직접 입력하는 대신, 지속적인 REPL(Read-Eval-Print Loop) 프로그래밍 환경 안의 외부 객체로 취급한다.
• LLM이 REPL 안에서 코드를 생성하여 외부 프롬프트의 일부를 프로그래밍 방식으로 검토, 변환, 분해하고 중간 값을 구축할 수 있게 한다.
• 프로그래밍 방식의 기호적 재귀를 가능하게 하여, LLM이 프로그래밍 방식으로 구성한 프롬프트 변환에 대해 하위 RLM을 호출함으로써, 출력 길이 제한을 우회하고 복잡한 반복 처리를 가능하게 한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.