금융 / 가상자산 거래소
Coinbase: 웹 화면 품질 시험
- 기업
- Coinbase
- 국가
- 미국
- 도입 상태
- 운영
- 자료 공개
- 날짜 기준
- 자료 발표 시점. 도입 시작일과 다를 수 있음
- 근거 확인 방법
- 원문 본문 열람
업무 문제
Coinbase 기술 블로그 글에 따르면 Coinbase는 수십억 이용자를 위한 미래 금융 인프라를 만들려면 안정적이고 견고한 제품 경험이 필요하고, 신뢰는 가장 높은 품질 기준을 지키는 데서 쌓인다고 본다. 같은 글은 회사에 기존 end-to-end 통합 시험이 많지만 이런 시험은 불안정해지기 쉬워 작은 화면 배치 변경에도 실패하고, 원인을 찾는 데 몇 시간이 든다고 설명했다. 같은 글에 따르면 사람 시험자가 하던 시험에는 일주일이 걸리는 일도 있었고, 회사는 시험 노력을 10배로 늘리면서 비용은 10분의 1로 줄이자는 목표를 세웠다.
적용한 기술과 데이터
같은 글에 따르면 이 목표에서 나온 qa-ai-agent는 '브라질의 Coinbase 시험 계정으로 로그인해 10 BRL어치 BTC를 사라' 같은 자연어 요청만으로 시험을 시작한다. agent는 글을 코드로 바꾸는 중간 단계 없이 coinbase.com 화면의 시각 정보와 글자 정보를 보고 다음 동작을 정하고, 결과 판정에는 LLM의 추론 능력을 쓴다. 같은 글은 오픈소스 LLM 브라우저 agent인 browser-use로 브라우저 세션을 조작하고, gRPC endpoint와 WebSocket 연결로 시험을 시작하며, 시험 실행과 세션 기록, 문제 추적을 MongoDB에 저장하고, BrowserStack으로 여러 환경의 원격 브라우저 시험을 한다고 설명했다. 같은 글에 따르면 agent가 찾은 문제는 다른 LLM이 화면 캡처와 문제 설명을 보고 진짜 문제인지 오탐인지 판단해 confidence score를 매기는 LLM as a judge 단계를 거치고, 점수가 낮은 문제는 걸러진다. 시험 실행은 Slack과 JIRA를 포함한 개발자 업무 흐름에 연결돼 있고, 새 자동 시험은 코드 대신 자연어 설명으로 추가한다. 회사는 agent가 찾은 문제 가운데 개발팀이 유효하다고 받아들인 비율을 정확도로 잰다.
성과
같은 글에 따르면 Coinbase는 기능 출시 때와 같은 A/B 시험 방식으로 사람 시험자와 agent를 같은 조건에서 비교했다. 정확도는 agent 75%, 사람 80%였고, agent는 같은 기간에 버그를 300% 더 찾았다. 같은 글은 이미 시험한 prompt가 있으면 새 시험을 15분 안에, prompt 시험이 필요하면 약 1.5시간에 넣을 수 있고, token 비용 분석에서는 기존 수동 시험 비용보다 86% 적었다고 밝혔다. 같은 글에 따르면 agent는 현지화, UI와 UX, 컴플라이언스, 기능 영역의 시험 시나리오 40개를 실행하며 매주 평균 10건의 문제를 찾는다. 회사는 두 달 동안 쌓은 시험 결과를 바탕으로 AI가 완전히 대신할 수 있는 수동 시험을 없애고 있으며, 지금의 수동 시험 가운데 최소 75%를 결국 AI agent가 대신할 것으로 예상한다고 같은 글은 밝혔다.
한계와 남은 과제
같은 글은 실제 신분증과 셀카 확인 같은 liveness 시험이 필요한 가입 절차처럼 자동화가 어려운 영역에서는 사람 시험자가 여전히 유리하다고 밝혔다. 수동 시험 75% 대체는 회사의 예상치이며, 정확도와 비용 비교에 쓴 시험 횟수와 기간은 같은 글에 나오지 않는다. 이번 조사에서 2025년 10월 글 이후의 운영 상태는 공식 자료로 확인하지 못했다.
출처
- How We are Improving Product Quality at Coinbase with AI agentscoinbase.com, 확인
공개된 자료를 정리한 사례입니다. ATF Works 도입 고객의 결과가 아닙니다.