Ενημέρωση για τη διακοπή υπηρεσιών της Spaceship

Στις 13 Αυγούστου, αντιμετωπίσαμε μια μεγάλη διακοπή υπηρεσιών που επηρέασε έναν αριθμό υπηρεσιών της Spaceship.

Η αιτία ήταν μια βλάβη στο σύστημα ψύξης στο κέντρο δεδομένων RadiusDC: Phoenix, το οποίο φιλοξενεί ορισμένες βασικές λειτουργίες της Spaceship. Αυτό μας ανάγκασε να θέσουμε τις υπηρεσίες εκτός λειτουργίας για να προστατεύσουμε την υποδομή των πελατών από υπερθέρμανση και πιθανή ζημιά.

Όλα όσα επηρεάστηκαν από το περιστατικό έχουν πλέον αποκατασταθεί και οι ομάδες μας συνεχίζουν να παρακολουθούν στενά τα συστήματα για να διασφαλίσουν ότι παραμένουν σταθερά.

Λυπούμαστε βαθύτατα για τον αντίκτυπο στους πελάτες που βασίζονται σε εμάς για τους ιστότοπούς τους, το email και άλλες διαδικτυακές υπηρεσίες. Η διακοπή που προκάλεσε αυτό, και οι συνθήκες πίσω από αυτήν, αντιμετωπίζονται με εξαιρετική σοβαρότητα.

Τι συνέβη

Το περιστατικό ξεκίνησε όταν τα συστήματα ψύξης απέτυχαν στο κέντρο δεδομένων Phoenix λόγω μιας μεγάλης καταιγίδας, προκαλώντας τις θερμοκρασίες γύρω από την υποδομή μας να φτάσουν σε κρίσιμα επίπεδα.

Η συνέχιση της λειτουργίας των συστημάτων υπό τέτοιες συνθήκες ενείχε τον κίνδυνο υπερθέρμανσης του εξοπλισμού και πρόκλησης μακροπρόθεσμης και καταστροφικής ζημιάς. Η θέση των υπηρεσιών εκτός λειτουργίας προκάλεσε σημαντική διαταραχή, αλλά ήταν απαραίτητη για την προστασία της υποδομής των πελατών μας.

Η διατήρηση του εξοπλισμού εκτός λειτουργίας έως ότου τα συστήματα ψύξης επανέλθουν επίσης έδωσε χρόνο στις θερμοκρασίες να επιστρέψουν σε ασφαλή επίπεδα πριν ξεκινήσει η αποκατάσταση. Αυτό βοήθησε να αποφευχθεί η δημιουργία περαιτέρω προβλημάτων που θα μπορούσαν να παρατείνουν ακόμη περισσότερο ένα ήδη σοβαρό περιστατικό.

Πώς επηρεάστηκαν οι πελάτες

Η διακοπή επηρέασε υπηρεσίες όπως Shared, VPS, προώθηση email και Spacemail. Το Spaceship.com παρέμεινε online καθ' όλη τη διάρκεια του περιστατικού.

Ακολουθεί μια ανάλυση του τρόπου με τον οποίο η κατάσταση επηρέασε βασικά προϊόντα και υπηρεσίες:

Λειτουργίες φιλοξενίας

Η πρόσβαση των πελατών σε ιστότοπους και υπηρεσίες φιλοξενίας επηρεάστηκε, με πολλούς ιστότοπους πελατών να μην είναι διαθέσιμοι, να είναι αργοί ή να επιστρέφουν σφάλματα. Ορισμένες λειτουργίες χρέωσης δεν ήταν επίσης διαθέσιμες αφού το σύστημα που ήταν υπεύθυνο για την επεξεργασία τους τέθηκε εκτός λειτουργίας κατά τη διάρκεια του περιστατικού.

EasyWP

Ο Πίνακας Ελέγχου του EasyWP και οι ιστότοποι πελατών επηρεάστηκαν. Κατά τη διάρκεια της αποκατάστασης, ορισμένοι ιστότοποι πελατών παρέμειναν μη διαθέσιμοι μετά την αποκατάσταση του EasyWP.com και του Πίνακα Ελέγχου, ενώ κάποιοι επέστρεφαν σφάλματα σύνδεσης βάσης δεδομένων.

Spacemail

Οι υπηρεσίες email επηρεάστηκαν επίσης. Οι πελάτες που επηρεάστηκαν δεν μπορούσαν να στείλουν email και τα εισερχόμενα email δεν μπορούσαν να παραδοθούν όσο οι σχετικοί διακομιστές ήταν εκτός λειτουργίας.

Είναι σημαντικό ότι αυτό δεν σήμαινε πως τα εισερχόμενα μηνύματα χάνονταν αυτόματα. Οι πάροχοι αλληλογραφίας συνήθως κάνουν περαιτέρω προσπάθειες παράδοσης όταν ένας διακομιστής παραλαβής είναι προσωρινά μη διαθέσιμος. Έτσι, τα μηνύματα θα έφταναν, αλλά αργότερα από το συνηθισμένο.

Πώς αποκαταστήσαμε τις υπηρεσίες

Η RadiusDC άρχισε να αποκαθιστά τη δυνατότητα ψύξης της το συντομότερο δυνατό, ενώ εγκαταστάθηκαν προσωρινοί ψύκτες και κατευθύνθηκαν στον χώρο μας στο κέντρο δεδομένων για να βοηθήσουν στη μείωση των θερμοκρασιών.

Οι ομάδες μας εργάστηκαν αδιάκοπα επιτόπου μαζί με τη RadiusDC για την αποκατάσταση της ψύξης. Αρχίσαμε να επαναφέρουμε τις υπηρεσίες σε λειτουργία μόνο όταν οι θερμοκρασίες είχαν επιστρέψει σε ασφαλή επίπεδα λειτουργίας και ήμασταν βέβαιοι ότι δεν υπήρχε κίνδυνος υπερθέρμανσης ή μακροπρόθεσμης ζημιάς.

Με την αποκατάσταση ασφαλών συνθηκών λειτουργίας, ξεκινήσαμε μια ελεγχόμενη ανάκαμψη σε όλη την υποδομή μας. Αυτό έπρεπε να γίνει σταδιακά, οπότε οι πελάτες είδαν διαφορετικές υπηρεσίες να επανέρχονται σε διαφορετικούς χρόνους.

Γιατί οι υπηρεσίες αποκαταστάθηκαν σταδιακά

Η έκταση του περιστατικού σήμαινε ότι διαφορετικά μέρη της πλατφόρμας μας επηρεάστηκαν ταυτόχρονα. Παρόλο που οι πελάτες τα βιώνουν ως ξεχωριστές υπηρεσίες, το περιστατικό στο κέντρο δεδομένων επηρέασε την υποδομή που εμπλέκεται στην παροχή αρκετών από αυτές.

Υπηρεσίες όπως η φιλοξενία και το email βασίζονται σε πολλαπλά επίπεδα τεχνολογίας, συμπεριλαμβανομένων διακομιστών, δικτύων, αποθήκευσης και βάσεων δεδομένων. Η αποκατάστασή τους σήμαινε την επαναφορά αυτών των διαφορετικών στοιχείων σε λειτουργία με τη σωστή σειρά, αντί να ενεργοποιηθούν απλώς τα πάντα ξανά ταυτόχρονα.

Τι ακολουθεί

Αντιμετωπίζουμε αυτή τη διακοπή και τον αντίκτυπό της στους πελάτες μας πολύ σοβαρά. 

Οι ομάδες μας πραγματοποιούν μια διεξοδική ανασκόπηση της κατάστασης για να ενισχύσουν τα συστήματά μας και να διασφαλίσουν ότι παρόμοια περιστατικά δεν θα συμβούν ξανά.

Θα είμαστε απολύτως διαφανείς σχετικά με όσα θα μάθουμε και θα μοιραστούμε τα αποτελέσματα μαζί σας, καθώς και τις ενέργειες που λαμβάνουμε.

ΔΙΟΡΘΩΣΗ: Ο πάροχος του κέντρου δεδομένων μας είναι η RadiusDC, όχι η PhoenixNAP όπως αναφέρθηκε σε αρκετές πρώιμες αναρτήσεις στο X στις 13 Αυγούστου. Η PhoenixNAP δεν εμπλέκεται σε αυτό το περιστατικό.