小売 / 中古取引プラットフォーム
Leboncoin：社内知識検索アシスタントAda
- 企業
- Leboncoin
- 国
- フランス
- 導入状況
- 中止決定
- 資料公開
- 日付の基準
- 資料が公開された時点。導入を開始した日とは異なる場合がある。
- 根拠の確認方法
- 検索ツールの本文抜粋で確認
業務課題
leboncoinは2023年、公開のLLMサービスで社内資料が漏れる事故を見た。LLMを使ってみたかったが、データとチームを守る統制された環境がまず必要だった。
使った技術とデータ
2023年の終わりに、機械学習のエンジニア数人が社内チャットボットAdaを始めた。最初はAWSにMeta Llama 2を載せてみたが、配備が複雑で会話の品質が落ちた。AWS Bedrock経由で接続したAnthropic Claude 2のほうが良く、方向を変えた。法務とセキュリティのチームは、データがAWSの外に出ず、モデルの再学習に使われないという条件を確認した。2024年の半ばからは、社内の知識につないだ専用のassistantを作った。ConfluenceとLumappsの文書は切り分けてembeddingにし、Postgresのベクトルデータベースで意味検索をした。Backstageはすでにに OpenSearchで索引されていたので、検索APIをそのまま使った。方針の文書と組織図は、文書全体をモデルのcontextに入れた。
成果
Backstageのassistantに英語のキーワード再作成器を入れると、context relevanceが0.63から0.73に上がり、正しい出典のリンクを70%の場合に返した。調整業務のassistantでは、規則を基にした再作成器がcorrectnessを10%高め、LLMを基にした再作成器は3から4%にとどまった。ただし、すべてのチームがそれぞれのassistantを求める要求を、数人のエンジニアでは支えきれなかった。leboncoinは2025年の第1四半期が終わるころにAdaをたたみ、新しい社内assistantをOpenAIのプラットフォームに置くことにした。
限界と残る課題
自前で運用する技術の負担と運用の負担を考えた決定である。原文は、Adaの利用者数や削減額を明らかにしていない。
出典
公開資料をまとめた事例です。ATF Works導入企業の成果ではありません。