Your Embedding Model is SMARTer Than You Think

SMART라는 이름의 프레임워크는 기존의 잠재된 지역적 의미 정보를 활용하여 단일 벡터 멀티모달 임베딩 모델을 다중 벡터 변형으로 변환한다.

SMART는 단일 벡터 멀티모달 임베딩 모델의 중간 은닉 상태에서 지역 정보를 꺼내 다중 벡터 검색에 활용하는 방법이다. 저자들은 풀링된 벡터에 적용한 대조 학습의 기울기가 앞선 토큰 표현의 검색 구조까지 형성한다는 점을 분석했다. 이에 따라 모델을 다시 학습하지 않고도 은닉 상태에 늦은 상호작용을 적용하고, 전역 점수와 지역 점수를 함께 사용한다. 여러 모달리티와 MMEB-V2 평가에서 기존 단일 벡터 모델의 성능을 꾸준히 높였으며, 가벼운 후속 학습은 시각 문서 검색에서 추가 개선을 만들었다. 이 방식은 전체 데이터베이스와 모델을 처음부터 다시 만들지 않고도 세밀한 검색 증거를 활용할 수 있다는 데 실용적 의미가 있다.

핵심 요약

• 효율성 측면에서, 개발자는 전체 데이터베이스를 다시 인덱싱하거나 비용이 큰 재학습을 수행하지 않고도 기존 검색 시스템을 '다중 벡터' 지원으로 업그레이드할 수 있다.
• 정확도 측면에서, SMART는 이미지 분류 같은 전역 작업과 100페이지 매뉴얼에서 특정 문장을 찾는 것 같은 지역 작업 모두에서 잘 작동하는 '범용' 검색 모델로 가는 길을 제공한다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.