Cập nhật về sự cố gián đoạn dịch vụ của Spaceship

Vào ngày 13 tháng 8, chúng tôi đã gặp phải một sự cố gián đoạn dịch vụ nghiêm trọng ảnh hưởng đến một số dịch vụ của Spaceship.

Nguyên nhân là do sự cố hệ thống làm mát tại trung tâm dữ liệu RadiusDC: Phoenix, nơi lưu trữ một số hoạt động thiết yếu của Spaceship. Điều này buộc chúng tôi phải đưa các dịch vụ ngoại tuyến để bảo vệ hạ tầng của khách hàng khỏi tình trạng quá nhiệt và hư hỏng có thể xảy ra.

Mọi thứ bị ảnh hưởng bởi sự cố hiện đã được khôi phục, và các đội ngũ của chúng tôi tiếp tục giám sát chặt chẽ các hệ thống để đảm bảo chúng duy trì ổn định.

Chúng tôi vô cùng xin lỗi về tác động đối với những khách hàng phụ thuộc vào chúng tôi cho website, email và các dịch vụ trực tuyến khác của họ. Sự gián đoạn mà điều này gây ra, cũng như các hoàn cảnh đằng sau nó, đang được xem xét một cách cực kỳ nghiêm túc.

Điều gì đã xảy ra

Sự cố bắt đầu khi các hệ thống làm mát tại trung tâm dữ liệu Phoenix bị hỏng do một cơn bão lớn, khiến nhiệt độ xung quanh hạ tầng của chúng tôi đạt đến mức nghiêm trọng.

Việc tiếp tục vận hành các hệ thống trong những điều kiện như vậy có nguy cơ khiến thiết bị quá nhiệt và chịu hư hỏng lâu dài cũng như nghiêm trọng. Việc đưa các dịch vụ ngoại tuyến đã gây ra gián đoạn đáng kể, nhưng đó là điều cần thiết để bảo vệ hạ tầng của khách hàng của chúng tôi.

Việc giữ thiết bị ở trạng thái ngoại tuyến cho đến khi các hệ thống làm mát hoạt động trở lại cũng giúp nhiệt độ có thời gian trở về mức an toàn trước khi quá trình khôi phục bắt đầu. Điều này giúp tránh tạo ra thêm các vấn đề có thể khiến một sự cố vốn đã nghiêm trọng còn kéo dài hơn nữa.

Khách hàng bị ảnh hưởng như thế nào

Sự cố gián đoạn đã ảnh hưởng đến các dịch vụ bao gồm Shared, VPS, chuyển tiếp email và Spacemail. Spaceship.com vẫn trực tuyến trong suốt sự cố.

Dưới đây là phân tích về cách tình huống này ảnh hưởng đến các sản phẩm và dịch vụ chính:

Hoạt động hosting

Quyền truy cập của khách hàng vào các website và dịch vụ hosting đã bị ảnh hưởng, với nhiều website của khách hàng không khả dụng, chậm hoặc trả về lỗi. Một số hoạt động thanh toán cũng không khả dụng sau khi hệ thống chịu trách nhiệm xử lý chúng bị đưa ngoại tuyến trong sự cố.

EasyWP

Bảng điều khiển của EasyWP và các website của khách hàng đã bị gián đoạn. Trong quá trình khôi phục, một số website của khách hàng vẫn không khả dụng sau khi EasyWP.com và Bảng điều khiển được khôi phục, trong đó một số trả về lỗi kết nối cơ sở dữ liệu.

Spacemail

Các dịch vụ email cũng bị gián đoạn. Khách hàng bị ảnh hưởng không thể gửi email và email đến không thể được chuyển phát khi các máy chủ liên quan đang ngoại tuyến.

Điều quan trọng là điều này không có nghĩa các thư đến tự động bị mất. Các nhà cung cấp thư thường sẽ tiếp tục thử chuyển phát khi máy chủ nhận tạm thời không khả dụng. Vì vậy, thư vẫn sẽ đến, nhưng muộn hơn bình thường.

Cách chúng tôi khôi phục dịch vụ

RadiusDC đã bắt đầu khôi phục khả năng làm mát của mình sớm nhất có thể, đồng thời các thiết bị làm lạnh tạm thời được lắp đặt và hướng vào khu vực của chúng tôi trong trung tâm dữ liệu để giúp giảm nhiệt độ.

Các đội ngũ của chúng tôi đã làm việc liên tục tại hiện trường cùng với RadiusDC để khôi phục hệ thống làm mát. Chúng tôi chỉ bắt đầu đưa các dịch vụ trở lại trực tuyến khi nhiệt độ đã trở về mức vận hành an toàn, và chúng tôi tin chắc rằng không còn nguy cơ quá nhiệt hoặc hư hỏng lâu dài.

Khi các điều kiện vận hành an toàn được khôi phục, chúng tôi bắt đầu quá trình phục hồi có kiểm soát trên toàn bộ hạ tầng của mình. Việc này cần diễn ra theo từng bước, vì vậy khách hàng thấy các dịch vụ khác nhau được khôi phục vào những thời điểm khác nhau.

Vì sao dịch vụ được khôi phục theo từng giai đoạn

Quy mô của sự cố đồng nghĩa với việc các phần khác nhau của nền tảng của chúng tôi bị gián đoạn cùng lúc. Mặc dù khách hàng trải nghiệm chúng như các dịch vụ riêng biệt, sự cố tại trung tâm dữ liệu đã ảnh hưởng đến hạ tầng liên quan đến việc cung cấp một số dịch vụ trong đó.

Các dịch vụ như hosting và email phụ thuộc vào nhiều lớp công nghệ, bao gồm máy chủ, mạng, lưu trữ và cơ sở dữ liệu. Việc khôi phục chúng đồng nghĩa với việc đưa các thành phần khác nhau này trở lại trực tuyến theo đúng thứ tự, thay vì chỉ đơn giản bật lại mọi thứ cùng một lúc.

Điều gì sẽ xảy ra tiếp theo

Chúng tôi rất nghiêm túc nhìn nhận sự gián đoạn này và tác động của nó đối với khách hàng của mình. 

Các đội ngũ của chúng tôi đang tiến hành đánh giá kỹ lưỡng tình hình để củng cố các hệ thống của mình và đảm bảo rằng những sự cố tương tự sẽ không xảy ra lần nữa.

Chúng tôi sẽ hoàn toàn minh bạch về những gì mình rút ra được và sẽ chia sẻ kết quả với bạn, cùng với các hành động mà chúng tôi đang thực hiện.

ĐÍNH CHÍNH: Nhà vận hành trung tâm dữ liệu của chúng tôi là RadiusDC, không phải PhoenixNAP như đã được đề cập trong một số bài đăng ban đầu trên X vào ngày 13 tháng 8. PhoenixNAP không liên quan đến sự cố này.