信息技术 / 企业软件与AI
Gradient Labs：AI服务运行中的故障与恢复
- 企业
- Gradient Labs
- 国家
- 未分类
- 实施阶段
- 运营中
- 资料发布
- 日期依据
- 资料发布的时间，可能与启用日期不同。
- 依据核验方式
- 阅读原文正文
业务问题
Gradient Labs的对话AI容器因内存持续增长而反复重启。团队收到警报后调查原因，以免客户会话中断。临时增加内存并未解决根本问题。
使用的技术与数据
Go编写的AI在Cloud Run上运行，由Temporal工作流管理会话状态和回答生成任务。工程师通过Google Cloud Profiler发现执行历史缓存占满内存，随后调整缓存大小。之后延迟上升时，团队检查任务等待指标，并手动增加最小实例数。
成果
公司表示，调整缓存解决了内存问题；随后缩容带来的延迟也通过调整最小实例数恢复正常。第二个问题从发现到修复不到1小时。
局限与待解问题
这是人工诊断和恢复服务的案例，不是AI自主修复故障。长期可用性数据尚未公布。
来源
- Gradient Labs | AI 서비스 운영 장애와 복구blog.gradient-labs.ai, 查阅
- Anatomy of an AI agent incidentGradient Labs, 查阅
本案例根据公开资料整理，并非 ATF Works 客户的成果。