게임 / 온라인 게임 플랫폼
Roblox: 문자, 음성, 이미지의 유해 콘텐츠 판별
- 기업
- Roblox
- 국가
- 미국
- 도입 상태
- 운영
- 자료 공개
- 날짜 기준
- 자료 발표 시점. 도입 시작일과 다를 수 있음
- 근거 확인 방법
- 원문 본문 열람
업무 문제
Roblox에서는 하루에 채팅 61억 건과 음성 110만 시간이 오간다. 언어는 28개다. 사람만으로 이 양을 밀리초 안에 검토하는 것은 불가능하다. 회사는 채팅만 맡겨도 수십만 명이 24시간 붙어야 한다고 적었다.
적용한 기술과 데이터
바탕에는 여러 형식을 함께 다루는 대형 transformer 모델이 있다. 운영 조건에 맞춰 이 모델을 증류하고 양자화해 빠르게 돌린다. 개인정보 필터는 요청량이 늘어 기존 CPU 서버로 감당하기 어려워졌다. 그래서 GPU 기반 서비스 구조를 새로 만들고 토큰 처리와 추론을 분리해 처리량을 네 배로 늘렸다. 음성 분류기는 여덟 개 언어에서 15초 안에 판정하며 회사는 이 모델을 공개했다. 사람은 드문 사례, 복잡한 조사, 이의 제기를 맡는다. 이의 제기에서 판정이 뒤집힌 사례는 다시 학습 자료로 들어간다.
성과
새 구조로 바꾼 뒤 개인정보 필터는 최대 초당 370,000건을 처리한다. 회사는 오탐이 30% 줄었고 그 덕에 자동으로 잡아내는 개인정보 언급이 25% 늘었다고 밝혔다. 문자 필터 전체는 초당 750,000건 넘게 처리한다. 2024년 2월부터 12월까지 올라온 콘텐츠는 약 1조 건이며 정책 위반으로 탐지된 것은 0.01% 수준이라고 설명했다.
한계와 남은 과제
오탐 감소와 탐지 증가는 개인정보 필터에 한정된 값이다. 플랫폼 전체 안전성이 같은 비율로 좋아졌다는 뜻은 아니다.
출처
- How Roblox Uses AI to Moderate Content on a Massive Scale | Robloxcorp.roblox.com, 확인
공개된 자료를 정리한 사례입니다. ATF Works 도입 고객의 결과가 아닙니다.