유통 / 전자상거래
Shopify: 상품 분류 모델 교체
- 기업
- Shopify
- 국가
- 캐나다
- 도입 상태
- 운영
- 자료 공개
- 날짜 기준
- 자료 발표 시점. 도입 시작일과 다를 수 있음
- 근거 확인 방법
- 원문 본문 열람
업무 문제
Shopify 기술 블로그 글에 따르면 Shopify는 수공예 장신구부터 산업 장비까지 수백만 사업자의 상품을 다루며, 상품의 분류와 속성을 알아야 검색, 발견, 추천을 개선할 수 있다. 같은 글은 2018년 TF-IDF와 로지스틱 회귀로 시작한 분류가 상품이 복잡하고 다양해지면서 한계를 보였고, 2020년 이미지와 글을 함께 쓰는 방식을 들인 뒤에도 분류만으로는 상품 이해가 부족했다고 설명했다. 같은 글은 2023년 초 분류보다 세밀한 상품 이해, 플랫폼 전체에서 일관된 분류 체계, 분류에 맞는 속성 추출, 간단한 상품 설명과 콘텐츠 태그 같은 metadata, 콘텐츠 안전 기능이 필요해졌다고 밝혔다.
적용한 기술과 데이터
같은 글은 Shopify가 26개 넘는 업종, 1만 개 이상의 상품 분류, 1,000개 이상의 속성을 담은 Shopify Product Taxonomy와 Vision Language Model을 묶었다고 설명했다. 같은 글에 따르면 모델은 LLaVA 1.5 7B에서 LLaMA 3.2 11B를 거쳐 지금 Qwen2VL 7B로 바뀌었고, 바꿀 때마다 기존 pipeline과 성능 지표, 계산 비용을 비교했다. 같은 글은 Dataflow pipeline이 모델 서비스를 두 번 불러 먼저 분류와 간단한 설명을 만들고, 그 분류를 넣어 속성을 예측한다고 밝혔다. 같은 글에 따르면 서비스는 NVIDIA GPU를 쓰는 Kubernetes cluster에서 Nvidia Dynamo로 실행되며, FP8 양자화, in-flight batching, KV cache로 처리량을 높이고, 분류와 속성 예측을 transaction처럼 다뤄 둘 다 성공하게 하며 일부가 실패하면 자동으로 다시 시도한다. 같은 글에 따르면 학습 데이터에는 여러 LLM이 상품마다 따로 붙인 라벨을 쓰고, 라벨이 엇갈리면 판정 역할의 전용 모델이 정리한다. 사람은 까다로운 경우와 처음 보는 상품 유형을 골라 검토하고, 정기 품질 감사로 라벨 기준을 지킨다고 같은 글은 설명했다.
성과
같은 글에 따르면 사업자는 예측된 분류의 85%를 받아들였고, 이 시스템은 하루 3천만 건 넘게 예측하며 과거 상품 수십억 개를 처리했다. 같은 글은 계층 정밀도와 재현율이 이전 신경망 방식보다 두 배가 됐다고 밝혔다. 같은 글은 정확한 분류가 검색 관련도와 세금 계산을 개선하고 자동 속성 태그가 사업자의 수작업을 줄이며, 속성 체계가 모든 상품 분류로 넓어져 자동 콘텐츠 심사에도 쓰인다고 설명했다.
한계와 남은 과제
같은 글은 85% 수용률과 두 배 개선을 어느 기간에 어떤 표본으로 쟀는지 밝히지 않았다. 같은 글은 지금의 Qwen2VL 7B로 바꾼 시점도 적지 않았고, 매출 같은 사업 지표 변화는 이번 조사에서 확인하지 못했다.
출처
공개된 자료를 정리한 사례입니다. ATF Works 도입 고객의 결과가 아닙니다.