유통 / 온라인 식료품
Instacart: 검색어 의도와 상품 속성 해석
- 기업
- Instacart
- 국가
- 미국
- 도입 상태
- 운영
- 자료 공개
- 날짜 기준
- 자료 발표 시점. 도입 시작일과 다를 수 있음
- 근거 확인 방법
- 원문 본문 열람
업무 문제
Instacart 검색창에는 다듬어지지 않은 말이 들어온다. 예전에는 작업마다 다른 모델을 따로 만들어 썼다. 질의 분류는 FastText 모델이 맡고 질의 재작성은 이용자 세션 기록을 캐는 별도 시스템이 맡았다. 재작성 시스템은 검색 트래픽의 50%만 덮었고 드문 검색어에는 쓸 만한 대안을 내놓지 못했다.
적용한 기술과 데이터
회사는 질의 이해를 LLM 중심으로 다시 짰다. 자주 들어오는 검색어는 오프라인에서 처리한다. 전환 이력의 상위 브랜드와 카테고리, 상품 카탈로그의 브랜드명 유사도를 프롬프트에 넣는 RAG 방식이다. 그 결과는 캐시에 넣고 동시에 실시간 모델의 학습 자료로 쓴다. 캐시에 없는 드문 검색어는 Llama-3-8B를 LoRA로 추가 학습한 실시간 모델이 맡는다. 출력은 후처리 장치가 검사한다. 질의와 예측 카테고리의 임베딩 유사도를 계산해 기준에 못 미치면 버리고 카탈로그와도 대조한다.
성과
Instacart는 재작성 적용 범위가 95%를 넘고 세 유형 모두 정밀도가 90% 이상이라고 밝혔다. 추가 학습한 8B 모델은 정밀도 96.4%로 기준 모델의 95.4%보다 높았고 F1은 95.7%로 95.8%와 비슷했다. 지연 시간은 A100에서 700ms에 가까웠는데 LoRA 가중치를 본 모델에 합치고 H100으로 바꿔 목표인 300ms에 닿았다. 회사는 이 체계가 이미 돌아가며 주마다 수백만 건의 신규 검색어를 처리한다고 밝혔다. 꼬리 검색어의 결과 불만은 50% 줄었고 평균 스크롤 깊이는 6% 줄었다고 설명했다.
한계와 남은 과제
공개한 지표는 검색 품질과 지연 시간에 한정된다. 주문이나 매출 변화로 이어졌다는 수치는 원문에 없다.
출처
- Building The Intent Engine: How Instacart is Revamping Query Understanding with LLMs | Instacartcompany.instacart.com, 확인
공개된 자료를 정리한 사례입니다. ATF Works 도입 고객의 결과가 아닙니다.