ゲーム / オンラインゲームプラットフォーム
Roblox：児童の危険の兆候の早期選別と確認の優先順位づけ
- 企業
- Roblox
- 国
- 米国
- 導入状況
- 運用中
- 資料公開
- 日付の基準
- 資料が公開された時点。導入を開始した日とは異なる場合がある。
- 根拠の確認方法
- 原文の本文を閲覧
業務課題
Robloxには多くの人が一緒に使うチャットがあり、その中で児童を危険にさらそうとする試みが起きる。難しいのは、こうした会話が最初から露骨ではないという点だ。表現がはっきりしてから他の検出の仕組みにかかるが、そのときには状況がすでに進んでいることがある。同社は、安全は一社だけでは解決できない共同の責任であると記した。
使った技術とデータ
Roblox Sentinelは、児童の危険の初期の信号を捉えるために作られたモデルである。contrastive learningで構築し、問題のなかった会話と、のちに有害になった会話の両方のパターンを学習した。新しく入ってきた会話をそのパターンと照らし合わせ、事態が大きくなる前に微妙な警告の兆候を確認の対象として表示する。Sentinelは自分でアカウントに処分を下さない。人の確認担当者が先に見るべきチャットから見られるように順序を決める。担当者は問題が確認されたアカウントに対応し、必要なら関係機関に通報する。第2版では点数を組み合わせる方式を二つから六つに増やし、それぞれを異なる性質の資料に合わせた。設定ごとに評価用の資料を計算し直す必要をなくしたため、324通りの設定を3分未満で走査する。以前は同じ作業に1時間近くかかっていた。
成果
同社は、2026年8月7日までの12か月間に検出した事案のうち、70%近くがSentinelの早期検出によるものだったと述べた。他の方法より先に捉えることが多かったと説明した。設定の探索を改善したあと、順位の品質を測るROC-AUCは、既定の設定の0.894から、見つかった最良の設定の0.996へ上がった。同社は、これらのモデルの版がすでにRoblox上で動いており、個人情報を求めたり共有したりする試みを検出し、児童の危険の初期の兆候を表示し、音声チャットを実時間で確認していると述べた。同じ資料で、Sentinelを含む安全モデル三種と評価用の資料一式をROOST Model Communityに公開したと知らせた。
限界と残る課題
70%は、検出した事案のうちSentinelが先に捉えた割合である。児童の危険の事案全体のうちどれだけを見逃したのかは原文にない。ROC-AUCの0.894と0.996は、モデルの設定を選ぶための評価の数値であり、実際の運用成果ではない。誤検知の件数、人の確認担当者の規模、Sentinelを最初に稼働させた時期も原文にない。
出典
- Roblox Brings Open-Source Safety Models to ROOST Model Communityabout.roblox.com, 確認
公開資料をまとめた事例です。ATF Works導入企業の成果ではありません。