수십 개 마이크로서비스에서 장애를 잡아 원인을 추정하고 롤백 지점까지 자동으로 마련한다
이런 상황입니다
서비스가 수십 개로 쪼개져 있으면 알림 하나가 울렸을 때 어느 서비스가 원인인지 사람이 로그를 뒤져 찾는다. 밤과 주말에는 당직자가 깨어 확인하고 되돌릴지 판단하는 데 시간이 가고, 그동안 매장의 주문·결제가 멈춘다. 되돌린 뒤에도 고친 PR 과 테스트를 사람이 따로 만든다
고객 인터뷰 전의 추정입니다.
AI 팀이 붙으면 이렇게 흐릅니다
- AI
모니터링 알림 입력
- AI
이상 감지(오류율 · 지연 한도 초과)
- AI
관련 서비스의 로그 · 최근 배포 이력에서 원인 후보 추정
- AI
수정 PR 초안과 테스트 생성
- AI
롤백 지점 지정
- AI
위험 등급을 매겨 «사람에게 올릴 것만» 올린다
- 사람
사람이 원인 추정과 롤백 여부를 승인한다
- AI
롤백 또는 PR 머지
- AI
정상 복귀 확인과 대응 기록
사람은 여기서 정합니다
- 사람이 원인 추정과 롤백 여부를 승인한다
데모 영상의 흐름
- 0~10초
대시보드에 알림 하나가 뜬다
- 10~25초
원인 후보 서비스와 근거 로그가 나란히 표시되고 최근 배포가 지목된다
- 25~40초
수정 PR 초안 · 테스트 · 롤백 지점이 생기고 위험 등급 카드가 사람에게 올라온다
- 40~50초
사람이 승인 버튼을 누르자 롤백이 돌고 정상 복귀 표시
- 50~60초
「대응 시간」 자막
무엇으로 효과를 재나
- 대응 시간(장애 1건당 · 분)측정 준비 중
이 일을 맡는 팀
같은 갈래의 다른 시나리오
내 업무와 비슷한가요?
이 시나리오로 상담하기 요금 계산하기