ParamMem: Augmenting Language Agents with Parametric Reflective Memory

MBZUAI와 Carnegie Mellon의 연구진은 교차 샘플 성찰 패턴을 모델 파라미터에 직접 인코딩하여 언어 에이전트를 강화하는 파라메트릭 메모리 모듈 ParamMem을 개발했다.

MBZUAI와 Carnegie Mellon의 연구진은 교차 샘플 성찰 패턴을 모델 파라미터에 직접 인코딩하여 언어 에이전트를 강화하는 파라메트릭 메모리 모듈 ParamMem을 개발했다. 이 시스템은 프로그래밍, 수학 추론, 다단계 QA 과제 전반에서 일관되게 상당한 성능 향상을 달성하는 동시에, 더 강력한 외부 모델에 의존하지 않고도 자기 개선을 가능하게 한다.

핵심 요약

• 언어 에이전트의 기존 자기 성찰 메커니즘은 반복적이거나 부정확하거나 도움이 되지 않는 출력을 자주 생성하여 다양한 해법을 탐색하고 오류를 진단하는 능력을 저해한다.
• 성찰 다양성을 향상시키기 위한 기존 검색 기반 접근법(예: DoT-bank)은 합성적 패턴을 포착하는 데 한계가 있고 임베딩 붕괴에 취약하여 검색 효과를 떨어뜨린다.
• 실증적 증거는 언어 에이전트에서 성찰적 다양성과 과제 성공 사이에 강한 양의 상관관계(평균 피어슨 계수 0.76)가 있음을 보여준다.
• ParamMem은 전문가가 생성한 '전역 성찰'과 짝지어진 입력 샘플의 보조 데이터셋으로 경량 LLM(예: LoRA를 적용한 LLaMA-3.1-8B)을 미세조정하여 파라메트릭 메모리 모듈을 구축한다.
• 미세조정된 ParamMem 모듈은 온도 제어 샘플링을 통해 다양한 성찰을 생성하며, 교차 샘플 패턴을 자신의 파라미터에 직접 인코딩한다.
• ParamMem은 에이전트 프레임워크(ParamAgent 및 ParamAgent-plus)에 통합되어, 이 파라메트릭 메모리를 기존의 에피소드 메모리와 통합하고, ParamAgent-plus의 경우 교차 샘플 메모리(DoT-bank 등)와도 통합하여 액터 LLM을 조건화한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.