정보기술 / 업무용 소프트웨어와 AI
Gradient Labs: AI 서비스 운영 장애와 복구
- 기업
- Gradient Labs
- 국가
- 분류 생략
- 도입 상태
- 운영
- 자료 공개
- 날짜 기준
- 자료 발표 시점. 도입 시작일과 다를 수 있음
- 근거 확인 방법
- 원문 본문 열람
업무 문제
Gradient Labs의 대화형 AI는 컨테이너 메모리 증가로 재시작을 반복했다. 팀은 고객 대화가 중단되지 않도록 경보를 받고 원인을 조사했다. 임시 메모리 증설만으로는 운영 문제를 끝낼 수 없었다.
적용한 기술과 데이터
Go로 만든 AI는 Cloud Run에서 실행되며 Temporal 워크플로가 대화 상태와 답변 생성 작업을 관리한다. 엔지니어는 Google Cloud Profiler로 실행 이력 캐시가 메모리를 채우는 것을 확인하고 캐시 크기를 조정했다. 이후 지연이 늘자 작업 대기 지표를 조사하고 최소 인스턴스 수를 직접 늘렸다.
성과
회사는 캐시 조정으로 메모리 문제를 해결했고, 뒤따른 축소 운영에 따른 지연도 최소 인스턴스 조정으로 정상화했다고 설명했다. 두 번째 문제의 발견과 수정에는 1시간 미만이 걸렸다고 밝혔다.
한계와 남은 과제
사람이 원인을 찾아 복구한 사례다. AI가 스스로 장애를 해결한 것이 아니며 장기 가용성 수치는 공개하지 않았다.
출처
- Gradient Labs | AI 서비스 운영 장애와 복구blog.gradient-labs.ai, 확인
- Anatomy of an AI agent incidentGradient Labs, 확인
공개된 자료를 정리한 사례입니다. ATF Works 도입 고객의 결과가 아닙니다.