Automating Feature Flag Cleanup at Scale with Multi-Agent LLM Systems: An Industrial Experience at DoorDash

이 논문은 DoorDash에서 낡은 기능 플래그를 자동으로 지우는 멀티에이전트 LLM 시스템을 만들어 50개 사례 중 90%에서 바로 쓸 수 있는 PR을 만들었다는 산업 경험 보고다.

이 논문은 한마디로 오케스트레이터 에이전트가 여러 제거 에이전트를 git worktree에서 병렬로 돌려 낡은 기능 플래그 정리를 끝까지 자동화한 시스템을 다룬다. DoorDash에는 56,000개가 넘는 기능 플래그가 623개 저장소에 퍼져 있고 1,659개가 낡은 상태다. 시스템은 MCP로 운영 롤아웃 상태를 조회해 목표 값을 정하고, 사람 확인 한 번을 거쳐 PR까지 만들었다. 평가 50개 플래그 중 45개(90%)에서 쓸 수 있는 PR이 나왔고 건당 평균 4.79달러에 13.8분이 걸렸다.

핵심 요약

• DoorDash에는 56,000개가 넘는 기능 플래그가 약 623개 저장소에 있고 1,659개가 낡은 상태이며, 수동 정리에 건당 1~2시간이 든다고 저자는 추정했다.
• 오케스트레이터 에이전트가 Jira 티켓을 처리하고 MCP로 실험 플랫폼의 운영 롤아웃 상태를 조회해 목표 값을 정한 뒤, 사람이 확인하면 제거 에이전트들이 git worktree에서 병렬로 코드를 고쳤다.
• 평가 50개 플래그 중 31개(62%)는 한 번에 승인, 14개(28%)는 소폭 수정 후 승인, 5개(10%)는 실패해 전체 성공률은 45/50 (90%)였다.
• 건당 평균 시간은 13.8분, 평균 LLM API 비용은 $4.79였고 복잡한 플래그에서도 85% (22/26) 정리 성공률을 보였다.
• 제거 에이전트는 패치 커버리지 95% 이상과 Detekt 정적 분석을 통과해야 PR을 만들 수 있었고, 50건 전체에서 변경 코드가 버그를 만들지는 않았다.
• 실패 5건의 공통 원인은 깊은 호출 사슬의 죽은 코드를 끝까지 못 지운 것이었고, 저자는 신뢰성 경계가 정확성보다 완전성에 있다고 짚었다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.