情報技術 / 業務用ソフトウェアとAI
Gradient Labs：AIサービス運用時の障害と復旧
- 企業
- Gradient Labs
- 国
- 分類なし
- 導入状況
- 運用中
- 資料公開
- 日付の基準
- 資料が公開された時点。導入を開始した日とは異なる場合がある。
- 根拠の確認方法
- 原文の本文を閲覧
業務課題
Gradient Labsの対話型AIは、コンテナーのメモリ増加によって再起動を繰り返した。チームは顧客との会話を中断させないよう警報を受けて原因を調査した。一時的なメモリ増設だけでは根本的な問題は解決しなかった。
使った技術とデータ
Go製のAIはCloud Runで実行され、Temporalワークフローが会話の状態と回答生成を管理する。エンジニアはGoogle Cloud Profilerで実行履歴キャッシュがメモリを消費していることを突き止め、サイズを調整した。その後の遅延増加では作業待ちの指標を調べ、最小インスタンス数を手動で増やした。
成果
同社はキャッシュ調整でメモリ問題を解消し、その後の縮小運用による遅延も最小インスタンス数の調整で正常化したと説明する。二つ目の問題の発見と修正には1時間未満しかかからなかったと述べた。
限界と残る課題
人が原因を特定し復旧した事例であり、AIが自律的に障害を解消したものではない。長期的な可用性の数値は公開していない。
出典
- Gradient Labs | AI 서비스 운영 장애와 복구blog.gradient-labs.ai, 確認
- Anatomy of an AI agent incidentGradient Labs, 確認
公開資料をまとめた事例です。ATF Works導入企業の成果ではありません。