Spaceship hizmet kesintisi güncellemesi

13 Ağustos'ta, bazı Spaceship hizmetlerini etkileyen büyük bir hizmet kesintisi yaşadık.

Bunun nedeni, bazı temel Spaceship operasyonlarına ev sahipliği yapan RadiusDC: Phoenix veri merkezindeki bir soğutma sistemi arızasıydı. Bu durum, müşteri altyapısını aşırı ısınma ve olası hasardan korumak için hizmetleri çevrimdışı duruma almamıza neden oldu.

Olaydan etkilenen her şey artık geri yüklendi ve ekiplerimiz sistemlerin kararlı kalmasını sağlamak için onları yakından izlemeye devam ediyor.

Web siteleri, e-posta ve diğer çevrimiçi hizmetleri için bize güvenen müşterilerimiz üzerindeki etkiden dolayı derin üzüntü duyuyoruz. Bunun neden olduğu kesinti ve arkasındaki koşullar son derece ciddiye alınmaktadır.

Ne oldu

Olay, büyük bir fırtına nedeniyle Phoenix veri merkezindeki soğutma sistemlerinin arızalanmasıyla başladı ve bu da altyapımızın çevresindeki sıcaklıkların kritik seviyelere ulaşmasına neden oldu.

Bu koşullarda sistemleri çalıştırmaya devam etmek, ekipmanın aşırı ısınması ve daha uzun vadeli, yıkıcı hasar görmesi riskini taşıyordu. Hizmetleri çevrimdışı duruma almak önemli bir kesintiye neden oldu, ancak müşterilerimizin altyapısını korumak için gerekliydi.

Soğutma sistemleri yeniden çevrimiçi olana kadar ekipmanı çevrimdışı tutmak, kurtarma başlamadan önce sıcaklıkların güvenli seviyelere dönmesi için de zaman tanıdı. Bu, zaten ciddi olan bir olayı daha da uzatabilecek ek sorunların ortaya çıkmasını önlemeye yardımcı oldu.

Müşteriler nasıl etkilendi

Kesinti; Shared, VPS, e-posta yönlendirme ve Spacemail dahil olmak üzere hizmetleri etkiledi. Spaceship.com olay boyunca çevrimiçi kaldı.

Durumun temel ürün ve hizmetleri nasıl etkilediğine dair bir özet aşağıda yer almaktadır:

Hosting operasyonları

Müşterilerin web sitelerine ve hosting hizmetlerine erişimi etkilendi; birçok müşteri web sitesi kullanılamaz durumda oldu, yavaşladı veya hata döndürdü. Olay sırasında bunları işlemekten sorumlu sistem çevrimdışı duruma alındıktan sonra bazı faturalandırma işlemleri de kullanılamaz hale geldi.

EasyWP

EasyWP’nin Kontrol Paneli ve müşteri web siteleri kesintiye uğradı. Kurtarma sırasında, EasyWP.com ve Kontrol Paneli geri yüklendikten sonra bazı müşteri web siteleri kullanılamaz durumda kalmaya devam etti ve bazıları veritabanı bağlantı hataları döndürdü.

Spacemail

E-posta hizmetleri de kesintiye uğradı. Etkilenen müşteriler e-posta gönderemedi ve ilgili sunucular çevrimdışı durumdayken gelen e-postalar teslim edilemedi.

Önemli olarak, bu gelen mesajların otomatik olarak kaybolduğu anlamına gelmiyordu. Posta sağlayıcıları normalde, alıcı sunucu geçici olarak kullanılamadığında teslimat için yeniden denemeler yapar. Bu nedenle mesajlar ulaşacaktı, ancak normalden daha geç.

Hizmetleri nasıl geri yükledik

RadiusDC, soğutma kapasitesini mümkün olan en kısa sürede yeniden sağlamaya başladı; bu sırada geçici soğutucular kuruldu ve sıcaklıkların düşürülmesine yardımcı olmak için veri merkezindeki alanımıza yönlendirildi.

Ekiplerimiz, soğutmayı yeniden sağlamak için RadiusDC ile birlikte sahada kesintisiz çalıştı. Hizmetleri yalnızca sıcaklıklar güvenli çalışma seviyelerine döndüğünde ve aşırı ısınma veya daha uzun vadeli hasar riski olmadığından emin olduğumuzda yeniden çevrimiçi duruma getirmeye başladık.

Güvenli çalışma koşulları yeniden sağlandıktan sonra, altyapımız genelinde kontrollü bir kurtarma süreci başlattık. Bunun kademeli olarak gerçekleşmesi gerektiğinden, müşteriler farklı hizmetlerin farklı zamanlarda geri geldiğini gördü.

Hizmetler neden aşamalı olarak geri yüklendi

Olayın ölçeği, platformumuzun farklı bölümlerinin aynı anda kesintiye uğradığı anlamına geliyordu. Müşteriler bunları ayrı hizmetler olarak deneyimlese de, veri merkezi olayı bunların birçoğunun sunulmasında yer alan altyapıyı etkiledi.

Hosting ve e-posta gibi hizmetler; sunucular, ağlar, depolama ve veritabanları dahil olmak üzere birden fazla teknoloji katmanına dayanır. Bunları geri yüklemek, her şeyi aynı anda yeniden açmak yerine bu farklı unsurları doğru sırayla yeniden çevrimiçi duruma getirmek anlamına geliyordu.

Sonraki adımlar

Bu kesintiyi ve müşterilerimiz üzerindeki etkisini çok ciddiye alıyoruz. 

Ekiplerimiz, sistemlerimizi güçlendirmek ve benzer olayların tekrar yaşanmamasını sağlamak için durumu kapsamlı şekilde inceliyor.

Öğrendiklerimiz konusunda tamamen şeffaf olacağız ve aldığımız önlemlerle birlikte sonuçları sizinle paylaşacağız.

DÜZELTME: Veri merkezi operatörümüz, 13 Ağustos'ta X'te yapılan bazı erken paylaşımlarda belirtildiği gibi PhoenixNAP değil, RadiusDC'dir. PhoenixNAP bu olaya dahil değildir.