小売 / 中古衣料プラットフォーム
Vinted：画像と商品の属性を併せて使う検索
- 企業
- Vinted
- 国
- リトアニア
- 導入状況
- 運用中
- 資料公開
- 日付の基準
- 資料が公開された時点。導入を開始した日とは異なる場合がある。
- 根拠の確認方法
- 原文の本文を閲覧
業務課題
単語を合わせて探す検索は絞り込む幅が狭い。Vintedの商品は写真が重要で複数の言語が混ざっているため、この限界がより大きく表れた。関連する商品があるのに結果なしを返すことが起き、会社はこれを逃した事業の機会と見た。
使った技術とデータ
VintedはTwo-Towerのモデルを作った。問い合わせのタワーは検索語を256次元のベクトルに変える。商品のタワーは商品の複数の特徴を同じ256次元のベクトルに変える。問い合わせのタワーは事前学習された多言語のCLIPモデルをそのままにして、その上のprojection headだけを新しく学習する。商品のタワーはブランドのIDやカテゴリーのIDといった範疇型の特徴に、代表となる商品写真のCLIPの埋め込みを合わせる。写真の埋め込みは512次元を入れて256次元に減らす。学習はcontrastive learningで行い、一組ごとに7,000個から10,000個の無作為の誤りの商品と区別させる。全体の実装はVespaのアプリケーションパッケージの中に入る。単語の検索の結果とベクトルの検索の結果は、reciprocal rank fusionで一つの列に合わせる。
成果
Vintedは、結果が少なく出る検索のセッションをベクトル検索の結果で埋めるやり方から始めたと述べた。絞り込む幅が少し広がると検索の指標が良くなり、この方式への確信が生まれたとした。約50回のABテストを経てベクトル検索を全面に適用した。いくつもの性能の最適化を経て、誤りの比率は0.02%未満になったと述べた。代表写真の画像の埋め込みは約1 TBのメモリを占める。
限界と残る課題
転換率や売上のような事業の指標の変化の数値は原文にない。Vintedは、商品の文字情報をモデルに入れる作業はまだ解けていない課題だと述べた。
出典
- Dense Retrieval | Vinted Engineeringvinted.engineering, 確認
公開資料をまとめた事例です。ATF Works導入企業の成果ではありません。