金融 / 暗号資産取引所
Coinbase：ウェブ画面の品質テスト
- 企業
- Coinbase
- 国
- 米国
- 導入状況
- 運用中
- 資料公開
- 日付の基準
- 資料が公開された時点。導入を開始した日とは異なる場合がある。
- 根拠の確認方法
- 原文の本文を閲覧
業務課題
Coinbaseの技術ブログ記事によると、Coinbaseは数十億人の利用者のための未来の金融インフラを作るには安定した堅牢な製品体験が必要であり、信頼は最も高い品質基準を守ることで築かれると考えている。同記事は、同社には従来型のend-to-end統合テストが多いが、こうしたテストは不安定になりやすく、画面配置の小さな変更でも失敗し、原因を調べるのに何時間もかかると説明した。同記事によると、人のテスターが行うテストには1週間かかるものもあり、同社はテストの量を10倍にしながら費用を10分の1にする目標を立てた。
使った技術とデータ
同記事によると、この目標から生まれたqa-ai-agentは「ブラジルのCoinbaseテストアカウントにログインして10 BRL分のBTCを買う」といった自然言語の依頼だけでテストを始める。エージェントは文章をコードに変換する中間段階を経ずに、coinbase.comの画面の視覚情報と文字情報を見て次の操作を決め、結果の判定にはLLMの推論能力を使う。同記事は、オープンソースのLLMブラウザエージェントであるbrowser-useでブラウザセッションを操作し、gRPCエンドポイントとWebSocket接続でテストを開始し、テストの実行とセッション履歴、問題の追跡をMongoDBに保存し、BrowserStackでさまざまな環境のリモートブラウザテストを行うと説明した。同記事によると、エージェントが見つけた問題は、別のLLMが画面キャプチャと問題の説明を見て本物の問題か誤検知かを判断しconfidence scoreを付けるLLM as a judgeの段階を経て、スコアの低い問題は除外される。テストの実行はSlackとJIRAを含む開発者の業務フローに組み込まれており、新しい自動テストはコードの代わりに自然言語の説明で追加する。同社は、エージェントが見つけた問題のうち開発チームが有効と認めた割合を正確さとして測っている。
成果
同記事によると、Coinbaseは機能リリースと同じA/Bテストの方式で、人のテスターとエージェントを同じ条件で比べた。正確さはエージェントが75%、人が80%で、エージェントは同じ期間にバグを300%多く見つけた。同記事は、すでに検証したプロンプトがあれば新しいテストを15分以内に、プロンプトの検証が必要な場合は約1.5時間で追加でき、tokenの費用分析では従来の手動テストの費用より86%少なかったと述べた。同記事によると、エージェントはローカライズ、UIとUX、コンプライアンス、機能の各領域のテストシナリオ40本を実行し、毎週平均10件の問題を見つけている。同社は2か月分のテスト結果をもとに、AIが完全に置き換えられる手動テストを廃止しており、現在の手動テストの少なくとも75%を最終的にAIエージェントが置き換えると見込んでいると同記事は述べた。
限界と残る課題
同記事は、実際の身分証とセルフィー確認のようなliveness testが必要な登録手続きなど、自動化が難しい領域では人のテスターが今も有利だと述べた。手動テストの75%の置き換えは同社の見込みであり、正確さと費用の比較に使ったテストの回数と期間は同記事に書かれていない。今回の調査では、2025年10月の記事以降の運用状況を公式資料で確認できなかった。
出典
- How We are Improving Product Quality at Coinbase with AI agentscoinbase.com, 確認
公開資料をまとめた事例です。ATF Works導入企業の成果ではありません。