$δ$-mem: Efficient Online Memory for Large Language Models

δ-mem은 대형 언어 모델을 위한 효율적인 온라인 메모리 메커니즘이다. 과거 정보를 고정 크기의 연관 상태로 압축하고 저랭크 보정으로 어텐션을 동적으로 조정하여, 동결된 백본을 보강한다.

δ-mem은 대형 언어 모델을 위한 효율적인 온라인 메모리 메커니즘이다. 과거 정보를 고정 크기의 연관 상태로 압축하고 저랭크 보정으로 어텐션을 동적으로 조정하여 동결된 백본을 보강한다. 이 시스템은 비교된 메모리 메커니즘 가운데 가장 높은 종합 성능을 달성했다. 매우 적은 파라미터 오버헤드만으로 메모리 집약적 벤치마크에서 Qwen3-4B-Instruct 백본의 평균 점수를 4.87퍼센트포인트 끌어올려 51.66%로 향상시켰다.

핵심 요약

• 대형 언어 모델(LLM)은 확장된 컨텍스트 윈도우의 2차 계산 비용과 '컨텍스트 열화' 문제 때문에 긴 상호작용 이력을 효율적으로 활용하기 어렵다.
• 현재의 메모리 메커니즘인 텍스트 기반, 외부 채널, 파라메트릭 방식은 정보 손실, 검색 노이즈, 통합 오버헤드, 또는 동적으로 적응하지 못하는 한계 등의 문제를 안고 있다.
• 전체 모델 미세조정이나 대규모 구조 변경 없이 LLM에 연속적이고 적응 가능한 메모리를 제공하는 방법이 필요하다.
• δ-mem은 연속적인 과거 정보를 고정 크기의 연관 메모리 온라인 상태(OSAM)로 압축하여 효율적이고 동적인 저장을 가능하게 한다.
• 이 방법은 순차적인 읽기-조정-쓰기 주기로 동작하며, OSAM에서 읽은 신호로 동결된 백본의 어텐션 메커니즘에 대한 저랭크 보정을 생성하고, 게이트형 델타 규칙으로 OSAM을 갱신한다.
• 이 시스템은 다양한 맥락과 백본 용량에 맞춰 메모리 갱신을 조정할 수 있도록 서로 다른 쓰기 단위인 Token-State, Sequence-State, Multi-State Write를 제공한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.