유통 / 중고 거래 플랫폼
Leboncoin: 사내 지식 검색 도우미 Ada
- 기업
- Leboncoin
- 국가
- 프랑스
- 도입 상태
- 중단 결정
- 자료 공개
- 날짜 기준
- 자료 발표 시점. 도입 시작일과 다를 수 있음
- 근거 확인 방법
- 검색 도구의 본문 발췌 확인
업무 문제
leboncoin은 2023년 공개 LLM 서비스로 사내 자료가 새는 사고를 봤다. LLM을 써보고 싶었지만 데이터와 팀을 지키는 통제된 환경이 먼저 필요했다.
적용한 기술과 데이터
2023년 말 머신러닝 엔지니어 몇 명이 사내 챗봇 Ada를 시작했다. 처음에는 AWS에 Meta Llama 2를 올려 봤지만 배포가 복잡하고 대화 품질이 떨어졌다. AWS Bedrock으로 접근한 Anthropic Claude 2가 더 나아 방향을 바꿨다. 법무와 보안팀은 데이터가 AWS 밖으로 나가지 않고 모델 재학습에 쓰이지 않는다는 조건을 확인했다. 2024년 중반부터는 사내 지식에 연결한 전용 assistant를 만들었다. Confluence와 Lumapps 문서는 잘라 embedding으로 만들고 Postgres 벡터 DB에서 의미 검색을 했다. Backstage는 이미 OpenSearch로 색인돼 있어 검색 API를 그대로 썼다. 정책 문서와 조직도는 문서 전체를 모델 context에 넣었다.
성과
Backstage assistant에 영어 키워드 재작성기를 넣자 context relevance가 0.63에서 0.73으로 올랐고 올바른 출처 링크를 70% 경우에 돌려줬다. 조정 업무 assistant에서는 규칙 기반 재작성기가 correctness를 10% 높였고 LLM 기반 재작성기는 3~4%에 그쳤다. 다만 모든 팀이 각자 assistant를 원하는 요구를 엔지니어 몇 명이 감당하기 어려웠다. leboncoin은 2025년 첫 분기가 끝날 무렵 Ada를 접고 새 사내 assistant를 OpenAI 플랫폼에 두기로 했다.
한계와 남은 과제
자체 운영의 기술 부담과 운영 부담을 고려한 결정이다. 원문은 Ada의 사용자 수나 절감액을 밝히지 않았다.
출처
공개된 자료를 정리한 사례입니다. ATF Works 도입 고객의 결과가 아닙니다.