When Does Experience Memory Help Closed-Loop LLM Driving Agents? A Controlled Evaluation with Resampled Warmup Pools, Token-Matched Fillers, and Audited Baselines

이 논문은 폐루프 LLM 운전 에이전트의 경험 메모리 효과를 워밍업 풀 재표집과 토큰 맞춤 대조군으로 통제 평가해 기존 주장 대부분이 뒤집힘을 보였다.

이 논문은 한마디로 LLM 운전 에이전트에서 경험 메모리가 언제 도움이 되는지 통제 실험으로 검증한 평가 논문이다. 플래너를 고정하고 워밍업 풀 열 개를 무작위 인자로 재표집하며 토큰량을 맞춘 무관한 채움 대조군을 더했다. 그 결과 두 검색 메모리는 열 풀 중 한 풀에서만 무메모리를 넘었고 풀 평균 효과는 −0.20이었다. 어떤 검색 설계도 토큰 맞춤 채움을 넘지 못했고 15-token 주의 지시 한 줄이 0.980에 도달했다.

핵심 요약

• 저자는 플래너와 인코더, 프로토콜을 고정하고 워밍업 풀을 열 개의 서로소 표본으로 재표집하며 토큰 맞춤 대조군을 더한 통제 평가 프레임워크를 만들었다.
• 두 검색 메모리는 열 풀 중 정확히 한 풀에서만 무메모리를 넘었고(정확 부호검정 p = 0.011), 풀 평균 효과는 부패로 −0.20이었다.
• 토큰량만 맞춘 무관한 채움 대조군이 병합 과제에서 0.800을 얻어 두 메모리를 유의하게 앞섰고, 15-token 주의 지시 한 줄은 0.980에 도달했다.
• 시간 그래프 메모리 TG-Mem은 평평한 텍스트 메모리와 구별되지 않았고(p=1.0), 판단당 1,038 프롬프트 토큰을 써서 210 to 274보다 훨씬 비쌌다.
• 베이스라인 포트 품질이 결론을 조용히 뒤집었다. 손상된 DiLu 포트는 0.375, 감사된 포트는 0.670으로 같은 조건에서 절반가량 차이가 났다.
• 한계로 모든 결정적 비교가 HighwayEnv, gpt-4o-mini, 1 Hz 결정 주기의 약한 플래너 조건에서 나왔다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.