Diễn biến sự cố được tái hiện trong báo cáo khá rõ ràng. Ngày 14/10, trung tâm dữ liệu tiến hành kiểm tra định kỳ hằng quý đối với máy phát điện diesel có tải. Sau khi phát hiện bất thường, đơn vị vận hành đã ngắt vật lý nguồn điện nhánh B theo đúng quy trình, khiến toàn bộ cơ sở tạm thời chỉ vận hành bằng nguồn điện nhánh A.
Vào lúc 6 giờ 53 phút sáng ngày 20/10, nguồn điện lưới nhánh A bị gián đoạn do sự cố cáp điện ngầm bên ngoài. Theo thiết kế, hệ thống UPS phải lập tức tiếp nhận tải, tạo khoảng thời gian khoảng 5 phút để các tổ máy phát điện diesel khởi động.
Tuy nhiên, điểm lấy tín hiệu điện áp để bộ điều khiển xác định tình trạng nguồn điện lưới lại được đấu nối ở phía trước của máy cắt nhánh B. Mặc dù máy cắt đã được ngắt, phía thượng nguồn vẫn có điện. Vì vậy, bộ điều khiển vẫn nhận định nguồn điện bình thường và không phát lệnh khởi động máy phát điện.
Trong báo cáo, Google cũng thừa nhận thêm hai vấn đề:
-
Mạch điều khiển chính và dự phòng dùng chung hệ thống dây dẫn và logic đánh giá: Bề ngoài chúng hoạt động như hai hệ thống dự phòng độc lập, nhưng thực tế lại có cùng một điểm gây lỗi, dẫn đến sự cố đồng thời.
-
Không thể chuyển đổi nguồn điện từ xa thông qua PLC: Khi nhân viên vận hành cố gắng thực hiện thao tác chuyển đổi nguồn điện bằng PLC, các thao tác liên quan đang ở trạng thái bị khóa. Do đó, họ buộc phải đến hiện trường để xử lý thủ công.
Các biện pháp khắc phục tương ứng bao gồm rà soát mã chương trình PLC, kiểm tra lại logic khởi động máy phát điện, hoàn thành việc kiểm tra các trung tâm dữ liệu tương tự trên toàn cầu trước ngày 15/11 và tăng tần suất diễn tập ứng phó sự cố lên hai lần mỗi ca trực.
Sự cố này đã làm nổi bật một khâu thường dễ bị bỏ qua nhất trong quá trình nghiệm thu máy phát điện diesel: Logic khởi động phải được kiểm chứng trong điều kiện mất điện thực tế, chứ không chỉ chạy thử không tải để kiểm tra tốc độ động cơ và điện áp đầu ra.
Đối với các trung tâm dữ liệu và khách hàng công nghiệp tại Việt Nam, có ít nhất bốn giải pháp thiết thực cần triển khai:
-
Bố trí điểm giám sát điện áp: Điểm lấy tín hiệu điện áp cần được đặt phía sau máy cắt và đồng thời kiểm tra trạng thái đóng/ngắt thực tế của máy cắt.
-
Thiết kế độc lập mạch điều khiển chính và dự phòng: Hai mạch cần được đi dây độc lập, tránh sử dụng chung logic đánh giá và điều khiển.
-
Đưa kiểm tra chuyển đổi ATS vào lịch bảo trì hằng tháng: Phải bao gồm cả những tình huống vận hành bất thường, chẳng hạn như máy cắt bị ngắt.
-
Đưa diễn tập ứng phó sự cố vào quy trình trực ca: Thực hiện mất điện thực tế, chuyển đổi nguồn thực tế và ghi chép đầy đủ kết quả.
Nguyên tắc cốt lõi là: Thiết kế dự phòng chỉ thực sự có ý nghĩa khi các nhánh hoạt động độc lập và lỗi của chúng không phụ thuộc lẫn nhau. Một khi hai nguồn điện cùng sử dụng chung điểm lấy tín hiệu hoặc chung logic điều khiển, cả hai có thể đồng thời thất bại chỉ vì một lỗi duy nhất.
Trong quá trình bàn giao các tổ máy công suất từ 5 kW đến 2.500 kW, Vân Nam ZHENBANG (ZIMBON) đưa công tác hiệu chỉnh ATS, diễn tập vận hành có tải và kiểm chứng logic khởi động vào danh mục nghiệm thu. Qua đó, doanh nghiệp hỗ trợ khách hàng phát hiện và xử lý những rủi ro tiềm ẩn này trước khi chính thức đưa hệ thống vào cấp điện vận hành.
