Omni-SimpleMem: Autoresearch-Guided Discovery of Lifelong Multimodal Agent Memory

이 논문은 lifelong 멀티모달 agent memory의 설계 공간이 사람의 수작업이나 전통적인 자동 기계학습(AutoML)으로 탐색하기에 너무 넓은 문제를, autoresearch pipeline이 실험 약 50개로 bug 수정과 구조 변경을 스스로 찾아내는 방법으로 풀었다.

이 논문은 한마디로 autoresearch pipeline(가설, 코드 수정, 평가를 스스로 되풀이하는 연구 자동화 pipeline)이 텍스트 전용 SimpleMem에서 출발해 멀티모달 memory 시스템 Omni-SimpleMem의 구조와 설정을 찾아낸 기록이다. pipeline은 약 72시간 동안 실험 약 50개를 실행해 LoCoMo(장기 대화 memory benchmark)의 F1을 처음 구성 0.117에서 0.598로, Mem-Gallery(멀티모달 장기 대화 memory benchmark)의 F1을 0.254에서 0.797로 올렸다. 찾아낸 시스템은 novelty 검사, hot storage와 cold storage를 나눈 Multimodal Atomic Unit, FAISS(고차원 벡터 유사도 검색 library)와 BM25(낱말 일치 기반 검색 점수)를 합친 set-union 검색, pyramid retrieval, knowledge graph를 쓴다. 저자들은 bug 수정(+175%), 구조 변경(+44%), 특정 category의 prompt 변경(+188%)이 각각 hyperparameter 조정 전체의 기여보다 컸다고 보고했다.

핵심 요약

• 문제: 긴 시간 동안 일하는 AI agent는 텍스트, 이미지, 오디오, 영상 경험을 저장하고 다시 찾는 memory가 병목이고, 좋은 memory를 만들려면 구조, 검색 전략, prompt, 데이터 pipeline이 서로 얽힌 넓은 설계 공간을 탐색해야 한다. 기존 memory 시스템은 연구자 한 명이 하루에 몇 가지 구성만 시험할 수 있는 수작업 연구로 만들어졌다. 전통적인 AutoML은 미리 정한 수치 hyperparameter 공간을 탐색하고, 코드 이해, bug 진단, 구조 재설계는 그 범위 밖에 있다.
• 입력과 출력: 이 논문은 autoresearch pipeline이 설계를 찾아낸 memory 시스템 논문이다. 23단계 pipeline AutoResearchClaw는 텍스트 전용 memory인 SimpleMem 코드, F1을 내는 benchmark 평가 harness 두 개, LLM API 접근을 받아 Omni-SimpleMem을 만들어 냈다. Omni-SimpleMem은 텍스트, 이미지, 오디오, 영상 입력을 memory로 저장하고, 질문이 오면 찾은 기억을 context에 넣어 답한다.
• 방법: pipeline은 이전 결과를 분석해 가설을 세우고 코드를 고쳐 benchmark로 평가한 뒤, F1이 0.5% 이상 오르면 진행하고, 결과가 애매하면 가설을 다듬고, 두 번 연속 나빠지면 되돌려 방향을 바꾼다. 찾아낸 구조는 영상의 연속 frame 이미지 embedding(CLIP) 비교, 오디오의 VAD(voice activity detection, 음성 구간 검출) 확률, 텍스트의 최근 요약과의 Jaccard 겹침으로 중복 입력을 걸러 내고, 남은 신호를 요약과 embedding은 hot storage에, 원본은 cold storage에 두는 Multimodal Atomic Unit(MAU)로 저장한다. 검색은 FAISS dense 순위를 유지한 채 BM25 결과를 덧붙이는 set-union merging, 상위 후보의 요약에서 시작해 유사도가 threshold를 넘으면 전문을, token budget 안에서 원본을 여는 pyramid retrieval, 7개 entity 유형의 knowledge graph 확장을 합친다.
• 구현: Omni-SimpleMem은 Python 13,300줄, 11개 subpackage로 구현됐고, 기본 구성은 FAISS와 all-MiniLM-L6-v2 embedding(384차원)의 dense 검색, 고정된 CLIP ViT-B/32의 시각 novelty 검사, GPT-4o JSON mode의 knowledge graph 추출이다. 기본값은 top-k 20, Level 2 확장 threshold 0.4, token budget 6,000이고, LoCoMo용 구성에서는 pipeline이 text-emb-3-large embedding과 top-k 20에서 30을 골랐다. 공식 GitHub 저장소 README는 SimpleMem, Omni-SimpleMem, EvolveMem을 한 simplemem package로 묶어 멀티모달 입력 함수를 처음 부르면 Omni backend를 고르게 했고, OmniSimpleMem 폴더의 LoCoMo, Mem-Gallery 재현 script와 텍스트 memory만 지원하는 MCP(Model Context Protocol) server를 안내한다.
• 결과: pipeline은 약 72시간에 실험 약 50개를 실행해 LoCoMo F1을 처음 구성 0.117에서 0.598로(+411%), Mem-Gallery F1을 0.254에서 0.797로(+214%) 올렸다. LoCoMo에서 가장 큰 개선(+175%)은 API 호출에 response_format이 빠진 한 줄 bug를 찾은 것이었고, Mem-Gallery에서는 요약 대신 원래 대화 전문을 반환하도록 바꾼 것이 +53%로 가장 컸다. LLM backbone 5개 모두에서 Omni-SimpleMem의 전체 F1은 baseline 6개보다 높아, LoCoMo에서 0.492(GPT-4.1-nano)부터 0.613(GPT-5.1)까지로 이전 최고 SimpleMem의 0.342에서 0.432를 넘었고, Mem-Gallery에서는 0.749부터 0.810까지였다.
• 한계: +411%와 +214%는 처음 구성 대비 수치이고, LoCoMo의 첫 개선은 시작 구성의 response_format 누락 bug 수정, Mem-Gallery의 첫 단계는 LLM을 gpt-4.1-nano에서 gpt-4o로 바꾸고 local embedding으로 옮긴 것(+39%)이었다. 사람이 준 것은 출발 코드, 평가 harness 두 개, API 접근, 멀티모달로 넓히라는 지시이고, 평가는 LoCoMo와 Mem-Gallery 두 benchmark에서 했다. 저자들은 이 방식이 잘 맞는 조건으로 바로 계산되는 scalar 지표, 모듈 구조, 실험당 1에서 2시간의 짧은 주기, version control로 되돌릴 수 있는 코드 수정을 들었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.