小売 / オンライン食料品
Instacart：検索語の意図と商品の属性の解釈
- 企業
- Instacart
- 国
- 米国
- 導入状況
- 運用中
- 資料公開
- 日付の基準
- 資料が公開された時点。導入を開始した日とは異なる場合がある。
- 根拠の確認方法
- 原文の本文を閲覧
業務課題
Instacartの検索窓には、整っていない言葉が入ってくる。以前は作業ごとに違うモデルを別々に作って使っていた。問い合わせの分類はFastTextのモデルが担い、問い合わせの再作成は利用者のセッションの記録を掘る別のシステムが担った。再作成のシステムは検索のトラフィックの50%しか覆えず、まれな検索語には使える代案を出せなかった。
使った技術とデータ
同社は問い合わせの理解をLLMを中心に組み直した。よく入ってくる検索語はオフラインで処理する。転換の履歴の上位のブランドとカテゴリー、商品カタログのブランド名の類似度をプロンプトに入れるRAGの方式である。その結果はキャッシュに入れ、同時にリアルタイムのモデルの学習の資料として使う。キャッシュにないまれな検索語は、Llama-3-8BをLoRAで追加学習したリアルタイムのモデルが担う。出力は後処理の装置が検査する。問い合わせと予測したカテゴリーの埋め込みの類似度を計算し、基準に届かなければ捨て、カタログとも照合する。
成果
Instacartは、再作成の適用の範囲が95%を超え、三つの類型すべてで精度が90%以上だと述べた。追加学習した8Bのモデルは精度96.4%で、基準のモデルの95.4%より高く、F1は95.7%で95.8%と近かった。遅延の時間はA100で700msに近かったが、LoRAの重みを本体のモデルに合わせ、H100に替えて目標の300msに届いた。同社は、この体系がすでに動いており、週ごとに数百万件の新しい検索語を処理すると述べた。尾の検索語の結果への不満は50%減り、平均のスクロールの深さは6%減ったと説明した。
限界と残る課題
公開した指標は検索の品質と遅延の時間に限られる。注文や売上の変化につながったという数値は原文にない。
出典
- Building The Intent Engine: How Instacart is Revamping Query Understanding with LLMs | Instacartcompany.instacart.com, 確認
公開資料をまとめた事例です。ATF Works導入企業の成果ではありません。