[Google-SRE-bản dịch tiếng việt]-Quản lý sự cố (Managing Incidents)

📑 Mục Lục

1. Tình huống sự cố không được quản lý
2. Thành phần của quy trình quản lý sự cố
3. Một sự cố được quản lý tốt
4. Khi nào nên khai báo sự cố
5. Tóm tắt và thực hành tốt nhất

🔥 Tình huống sự cố không được quản lý

Mary – kỹ sư trực sự cố – nhận thấy một datacenter không phản hồi. Sau đó hai, rồi ba trung tâm ngừng hoạt động, gây quá tải cho các trung tâm còn lại. Trong khi xử lý, Mary gọi Josephine – lập trình viên chính – đang ở múi giờ khác, cùng lúc đồng nghiệp khác tự ý can thiệp, khiến sự cố tồi tệ hơn. Không ai giao tiếp rõ ràng, cấp quản lý tức giận vì không được cập nhật. Cuối cùng, toàn bộ hệ thống dừng hoạt động hoàn toàn.

Những sai lầm phổ biến:

• Tập trung quá mức vào kỹ thuật khiến không ai quản lý tổng thể.
• Thiếu giao tiếp rõ ràng, dẫn đến hỗn loạn.
• Tự ý hành động mà không điều phối chung.

🔧 Thành phần của quy trình quản lý sự cố

Google áp dụng mô hình "Incident Command System" với các đặc điểm sau:

1. Phân chia vai trò rõ ràng

• Incident Commander: Người dẫn dắt, nắm tổng quan, gán vai trò.
• Ops Lead: Người duy nhất được can thiệp hệ thống.
• Communicator: Giao tiếp với stakeholders, cập nhật trạng thái.
• Planner: Lập kế hoạch dài hạn, hậu cần, bug tracking.

2. Kênh giao tiếp trung tâm

• "War Room" vật lý hoặc qua IRC, Google Chat, ... giữ tất cả liên lạc tập trung.

3. Tài liệu sự cố sống (Live Doc)

• Ghi chép liên tục diễn biến sự cố.
• Có thể dùng Google Docs hoặc wiki hỗ trợ chỉnh sửa nhiều người.

4. Bàn giao rõ ràng

• Khi giao ca, phải xác nhận bằng lời "Bạn là người tiếp quản quản lý sự cố", đảm bảo không có khoảng trống trách nhiệm.

🧩 Một sự cố được quản lý tốt

Mary nhận alert đầu tiên, yêu cầu Sabrina làm chỉ huy. Sabrina ghi lại tình trạng và cập nhật đến email nhóm. Khi sự cố lan rộng, Sabrina kích hoạt toàn bộ quy trình: liên hệ Josephine, phân công nhiệm vụ rõ ràng, kiểm soát thông tin qua live doc, cập nhật liên tục. Đến tối, nhóm khác tiếp quản, xử lý triệt để và viết postmortem.

→ Kết quả: Không hỗn loạn, có tổ chức, thông tin minh bạch.

🚨 Khi nào cần khai báo sự cố?

Bạn nên khai báo sớm thay vì chờ đợi:

• Cần nhiều hơn 1 team tham gia xử lý?
• Người dùng bị ảnh hưởng?
• Vấn đề kéo dài >1 tiếng chưa giải quyết?

Việc khai báo sớm giúp sắp xếp nhân lực đúng quy trình, giảm áp lực cá nhân.

📘 Tóm tắt và thực hành tốt nhất

Nguyên tắc:

• Ưu tiên: Dừng mất mát, phục hồi dịch vụ, giữ bằng chứng.
• Chuẩn bị: Luyện tập trước bằng kịch bản giả định.
• Tin tưởng: Ai được phân vai thì được toàn quyền xử lý trong phạm vi đó.
• Quan sát cảm xúc: Nếu hoảng loạn, nên nhờ hỗ trợ.
• Xem xét lại: Liên tục đánh giá lại hướng hành động.
• Luyện tập thường xuyên: Dễ thành phản xạ khi gặp sự cố thực tế.
• Luân phiên vai trò: Giúp toàn team thành thạo từng vị trí.

Google SRE cho thấy rằng nếu tổ chức tốt quy trình xử lý sự cố, mọi thành viên sẽ làm việc hiệu quả hơn, bớt căng thẳng và cải thiện thời gian phục hồi. Đây là điều bất kỳ tổ chức nào cũng có thể học hỏi và áp dụng.