MOSAIC: An Omni-Modal Benchmark for Long-Term Memory and Cross-Modal Reasoning in Conversational Agents

이 논문은 텍스트·이미지·비디오·오디오를 아우르는 장기 기억 벤치마크 MOSAIC을 만들어, 대화 에이전트가 어느 단계에서 기억을 잃는지 쓰기·검색·전달·읽기로 나눠 진단했다.

이 논문은 한마디로 4개 모달리티에 걸친 923개 질문으로 에이전트 장기 기억의 실패 지점을 WRITE, RETRIEVE, DELIVER, READ 네 단계로 분리 측정하는 벤치마크를 제안한다. 저자는 독자와 예산을 고정한 채 표현, 검색, 전달만 바꾸는 짝 비교로 각 단계의 손실을 계산했다. 금 기호 사실에서도 15.4점의 읽기 오류가 남고, 텍스트화에 9.3점, 검색에 7.6점, 포장에 3.8점이 더 소모됐다. 어떤 시스템도 답변과 거절을 함께 잘하지 못했다.

핵심 요약

• MOSAIC은 텍스트, 이미지, 비디오, 오디오를 아우르는 11–24개 세션의 대화 이력 위에 923개 질문(답 가능 784개, 거절 통제 139개)을 올린 벤치마크다.
• 평가는 WRITE, RETRIEVE, DELIVER, READ 네 단계로 나누고 질문, 독자, 프롬프트, 예산을 고정한 채 한 단계씩만 바꿔 짝 비교를 했다.
• 금 기호 사실 조건에서 점수는 0.846로 15.4점의 읽기 오류가 남았고, 원본 매체로 바꾸면 0.783, 일반 캡션과 ASR 텍스트로 바꾸면 0.690까지 떨어졌다.
• 검색 단계는 7.6점을, 실서비스 포장 제한은 같은 검색 결과에서 3.8점을 더 잃게 했고 전체 파이프라인은 0.653에 도달했다.
• 모달리티별로 비디오는 금 기호 대비 원본 매체에서 17.1점이 떨어져 인식이 가장 큰 병목이었고, 이미지의 공간 배치 항목에서는 원본이 OCR 텍스트보다 32.0점 앞섰다.
• 매체 예산을 줄이면 완전 사슬 전달이 0.675에서 0.184로 무너졌고, 모든 시스템에서 답변 정확도와 정확한 거절을 동시에 높이지 못했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.