金融 / 数字资产交易所
Coinbase：网页界面质量测试
- 企业
- Coinbase
- 国家
- 美国
- 实施阶段
- 运营中
- 资料发布
- 日期依据
- 资料发布的时间，可能与启用日期不同。
- 依据核验方式
- 阅读原文正文
业务问题
据Coinbase技术博客文章介绍，Coinbase认为，要为数十亿用户打造未来的金融基础设施，需要稳定而可靠的产品体验，而信任来自坚持最高的质量标准。该文章说明，公司有许多传统的端到端集成测试，但这类测试容易不稳定，页面布局的小改动就会导致失败，排查原因需要数小时。据该文章介绍，人工测试人员进行的测试有的需要一周时间，公司因此设定了把测试投入提高到10倍、同时把成本降到十分之一的目标。
使用的技术与数据
据该文章介绍，在这一目标下诞生的qa-ai-agent只需“用巴西的Coinbase测试账户登录并购买价值10 BRL的BTC”这样的自然语言请求即可启动测试。该智能体无需把文字转换成代码的中间步骤，而是根据coinbase.com页面的视觉信息和文字信息决定下一步操作，并利用LLM的推理能力判定结果。该文章说明，公司用开源LLM浏览器智能体browser-use操控浏览器会话，通过gRPC端点和WebSocket连接启动测试，把测试执行、会话记录和问题跟踪保存在MongoDB中，并用BrowserStack在不同环境中进行远程浏览器测试。据该文章介绍，智能体发现的问题要经过LLM as a judge环节，由另一个LLM查看截图和问题描述，判断是真实问题还是误报并给出confidence score，低分问题会被过滤掉。测试执行已接入包括Slack和JIRA在内的开发者工作流程，新的自动测试用自然语言描述来添加，而不是编写代码。公司把智能体发现的问题中被开发团队认定为有效的比例作为准确性指标。
成果
据该文章介绍，Coinbase采用与功能发布相同的A/B测试方法，在相同条件下比较了人工测试人员和智能体。准确率方面，智能体为75%，人工为80%；在相同时间内，智能体多发现了300%的缺陷。该文章表示，如果已有经过测试的提示词，新测试可在15分钟内加入；如果需要测试提示词，约需1.5小时；token成本分析显示，比传统人工测试费用低86%。据该文章介绍，该智能体执行涵盖本地化、UI和UX、合规以及功能领域的40个测试场景，平均每周发现10个问题。该文章表示，公司根据两个月积累的测试结果，正在淘汰可由AI完全替代的人工测试，并预计目前人工测试中至少75%最终将由AI智能体替代。
局限与待解问题
该文章表示，在需要真实身份证件和自拍验证等活体检测的注册流程这类难以自动化的领域，人工测试人员仍有优势。人工测试75%被替代是公司的预期，该文章没有给出准确性和成本比较所用的测试次数和期间。本次调查未能通过官方资料确认2025年10月文章发布之后的运营状态。
来源
- How We are Improving Product Quality at Coinbase with AI agentscoinbase.com, 查阅
本案例根据公开资料整理，并非 ATF Works 客户的成果。