零售 / 二手服装平台
Vinted：同时利用图像与商品属性的检索
- 企业
- Vinted
- 国家
- 立陶宛
- 实施阶段
- 运营中
- 资料发布
- 日期依据
- 资料发布的时间，可能与启用日期不同。
- 依据核验方式
- 阅读原文正文
业务问题
按词匹配的检索筛选面很窄。Vinted的商品看重照片，且混杂多种语言，这一局限表现得更明显。有时明明有相关商品，检索却返回无结果，公司把这视为错失的业务机会。
使用的技术与数据
Vinted构建了Two-Tower模型。查询塔把搜索词转成256维向量，商品塔把商品的多种特征转成同为256维的向量。查询塔保持预训练的多语言CLIP模型不变，只在其上新训练一个projection head。商品塔把品牌ID、类目ID等类别特征与代表性商品照片的CLIP嵌入结合。照片嵌入以512维输入、降到256维。训练采用contrastive learning，让模型把每一对与7,000到10,000个随机负例商品区分开。整套实现放在Vespa应用包中。关键词检索结果与向量检索结果通过reciprocal rank fusion合并成一个列表。
成果
Vinted表示，起初是用向量检索结果去补充那些结果很少的检索会话。筛选面稍稍放宽后，检索指标随之改善，团队也因此对这一方式有了信心。经过约50次AB测试后，公司全面启用了向量检索。经过多项性能优化，错误率降到0.02%以下。代表照片的图像嵌入约占用1 TB内存。
局限与待解问题
转化率或销售额等业务指标的变化数字，原文中没有。Vinted表示，把商品的文本信息接入模型仍是尚未解决的课题。
来源
- Dense Retrieval | Vinted Engineeringvinted.engineering, 查阅
本案例根据公开资料整理，并非 ATF Works 客户的成果。