AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents

장기 horizon LLM 에이전트를 위해 raw transcript 적재 대신 타입드 메모리 슬롯(L1-L5)으로 per-decision 프롬프트를 조립하는 bounded-memory 계약을 제안한다. Slay the Spire 2에서 298개 궤적과 분석 도구를 공개한다.

AgenticSTS는 장기 구동 LLM 에이전트의 메모리를 '각 의사결정이 볼 수 있는 것'으로 정의하고, raw 트랜스크립트 누적 대신 5개 타입드 슬롯(L1 프로토콜·L2 상태·L3 룰·L4 에피소드 요약·L5 트리거 스킬)으로 매 결정마다 fresh prompt를 조립하는 bounded contract를 제안한다. Slay the Spire 2(A0 난이도, 인간 승률 16%)에서 no-scaffold 기준 3/10 승률이 L5 스킬 활성화 시 6/10로 향상됐고, 프롬프트 크기는 ~5k로 고정되어 기존 공개 에이전트(STS2MCP ~500k/call) 대신 1-2 자릿수 적은 토큰을 소비한다. 298개 궤적과 SHA-고정 메모리 스냅샷, 분석 스크립트를 공개해 메모리 계층별 기여도를 개별적으로 ablate할 수 있다.

핵심 요약

• 메모리 = 저장소가 아닌 '의사결정 가시성 계약'—raw transcript 누적 없이 타입드 검색으로 per-decision 구성
• 5개 슬롯(L1-L5) 개별 ablation 가능: L5 트리거 스킬이 최대 기여(3/10→6/10, directional p≈0.37)
• 프롬프트 ~5k 고정: STS2MCP는 단일 run에서 ~527k/call까지 팽창—token 효율 1-2 자릿수 우위
• Slay the Spire 2 A0(인간 승률 16%, 프롯티어 LLM 0승)를 테스트베드로 사용—hard but unsaturated
• 298개 궤적 + SHA-anchored L4/L5 스냅샷 + 프롬프트 기록 + Wilson/bootstrap 스크립트 공개
• cross-backbone probe(Gemini·Qwen·DeepSeek)로 동일 ablation surface 검증

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.