Блог Spaceship

Оновлення щодо збою сервісів Spaceship

Оновлено
3 хв читання
Оновлення щодо збою сервісу Spaceship

13 серпня ми зіткнулися з масштабним збоєм у роботі сервісів, який вплинув на низку сервісів Spaceship.

Причиною стала несправність системи охолодження в дата-центрі RadiusDC: Phoenix, де розміщено деякі критично важливі операції Spaceship. Це змусило нас перевести сервіси в офлайн, щоб захистити інфраструктуру клієнтів від перегріву та можливих пошкоджень.

Усе, що постраждало внаслідок інциденту, тепер відновлено, а наші команди продовжують уважно стежити за системами, щоб переконатися, що вони залишаються стабільними.

Ми щиро шкодуємо про вплив на клієнтів, які покладаються на нас щодо своїх вебсайтів, електронної пошти та інших онлайн-сервісів. До спричиненого цим збою та обставин, що стоять за ним, ставляться вкрай серйозно.

Що сталося

Інцидент почався, коли через сильний шторм вийшли з ладу системи охолодження в дата-центрі Phoenix, через що температура навколо нашої інфраструктури досягла критичних рівнів.

Подальша робота систем у таких умовах створювала ризик перегріву обладнання та довгострокових і катастрофічних пошкоджень. Переведення сервісів в офлайн спричинило значні перебої, але це було необхідно для захисту інфраструктури наших клієнтів.

Утримання обладнання в офлайні до моменту, коли системи охолодження знову запрацюють, також дало температурі час повернутися до безпечних рівнів до початку відновлення. Це допомогло уникнути створення додаткових проблем, які могли б ще більше затягнути і без того серйозний інцидент.

Як постраждали клієнти

Збій вплинув на сервіси, зокрема Shared, VPS, пересилання електронної пошти та Spacemail. Spaceship.com залишався онлайн протягом усього інциденту.

Ось розбивка того, як ситуація вплинула на ключові продукти та сервіси:

Операції хостингу

Було порушено доступ клієнтів до вебсайтів і хостингових сервісів: багато клієнтських вебсайтів були недоступні, працювали повільно або повертали помилки. Деякі білінгові операції також були недоступні після того, як систему, відповідальну за їх обробку, було переведено в офлайн під час інциденту.

EasyWP

Було порушено роботу панелі керування EasyWP і вебсайтів клієнтів. Під час відновлення деякі клієнтські вебсайти залишалися недоступними після відновлення EasyWP.com і панелі керування, а деякі повертали помилки підключення до бази даних.

Spacemail

Роботу поштових сервісів також було порушено. Постраждалі клієнти не могли надсилати електронні листи, а вхідні листи не могли бути доставлені, поки відповідні сервери були офлайн.

Важливо, що це не означало автоматичну втрату вхідних повідомлень. Поштові провайдери зазвичай здійснюють подальші спроби доставки, коли сервер одержувача тимчасово недоступний. Тож повідомлення надходили, але пізніше, ніж зазвичай.

Як ми відновили сервіси

RadiusDC почав якнайшвидше відновлювати свою охолоджувальну потужність, водночас було встановлено тимчасові чилери та спрямовано їх у нашу зону дата-центру, щоб допомогти знизити температуру.

Наші команди безперервно працювали на місці разом із RadiusDC, щоб відновити охолодження. Ми почали повертати сервіси в онлайн лише після того, як температура повернулася до безпечних робочих рівнів і ми були впевнені, що немає ризику перегріву або довгострокових пошкоджень.

Після відновлення безпечних умов роботи ми розпочали контрольоване відновлення всієї нашої інфраструктури. Це мало відбуватися поступово, тому клієнти бачили повернення різних сервісів у різний час.

Чому сервіси відновлювалися поетапно

Масштаб інциденту означав, що різні частини нашої платформи були порушені одночасно. Хоча клієнти сприймають їх як окремі сервіси, інцидент у дата-центрі вплинув на інфраструктуру, задіяну в наданні низки з них.

Такі сервіси, як хостинг і електронна пошта, залежать від кількох технологічних рівнів, зокрема серверів, мереж, сховищ і баз даних. Їх відновлення означало повернення цих різних елементів в онлайн у правильному порядку, а не просте одночасне ввімкнення всього одразу.

Що буде далі

Ми дуже серйозно ставимося до цього збою та його впливу на наших клієнтів. 

Наші команди проводять ретельний аналіз ситуації, щоб посилити наші системи та гарантувати, що подібні інциденти не повторяться.

Ми будемо повністю прозорими щодо того, що дізнаємося, і поділимося з вами результатами разом із заходами, яких ми вживаємо.

ВИПРАВЛЕННЯ: Наш оператор дата-центру — RadiusDC, а не PhoenixNAP, як було зазначено в кількох ранніх дописах у X від 13 серпня. PhoenixNAP не причетний до цього інциденту.

Зображення профілю Hillan Klein
Автор

Hillan Klein

Генеральний директор
Більше статей від Hillan Klein

Оцініть цю статтю

4,16/531 Відгуків
Поділитися цією статтею

Коментарі (17)

Написати коментар
  • Зображення профілю Luke Carter

    Luke Carter

    17 серп. 2026 р.

    I understand that outages happen, and I appreciate how quickly the team restored services. However, I recall seeing an “Add recovery email” prompt in the Spaceship hosting manager for quite some time, even after a recovery email had already been added.
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
    • Зображення профілю Olga, Hosting Product Operations Specialist

      Olga, Hosting Product Operations Specialist

      18 серп. 2026 р.

      Appreciated, and thanks for reporting this. A recovery-email prompt that keeps appearing after you've already added one isn't expected, so we'd like to look into it directly. Please contact our Support team with your account details — they'll confirm the recovery email is saved correctly on our side and investigate why the prompt is still showing for you.
  • Зображення профілю Yves Gaston G. PIERRE

    Yves Gaston G. PIERRE

    17 серп. 2026 р.

    Je trouve qu'au niveau commercial vous pourriez prévoir une compensation pour vos clients même si elle n'est que symbolique. parfois il y a des gestes tout simple démontre que vous désirez réellement poser un acte positif. il est plus que probable que tu ne liras pas mon texte, parce que je comprends c'est que derrière cette structure se trouve une personne à la base, c'est dommage. moi je vous ai choisi parce que j'ai plus de moyens et que je me bats au niveau de mon association d'étudiant .
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
  • Зображення профілю Dennis Davison

    Dennis Davison

    16 серп. 2026 р.

    I am having issues with cPanel (xxx.xxx + all of my other sites) I cannot create or edit files. I am getting "our connection is not private Attackers might be trying to steal your information from serverxxx.xxxx.xxx.xxx (for example, passwords, messages, or credit cards). Learn more about this warning net::ERR_CERT_AUTHORITY_INVALID" 2x in 1 month. Really not feeling comfortable with service if server is unsafe.
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
    • Зображення профілю Olga, Hosting Product Operations Specialist

      Olga, Hosting Product Operations Specialist

      18 серп. 2026 р.

      Sorry for the worry here. That error (ERR_CERT_AUTHORITY_INVALID) is a certificate-trust warning — the browser couldn't verify the certificate for that address — rather than proof the server is unsafe, and the connection stays encrypted. It can come from a few different things, including something we may need to fix on the server side, so we'd rather check it directly than guess. Please send our Support team your domain and a screenshot of the full warning (including the server address shown).
  • Зображення профілю Andre

    Andre

    15 серп. 2026 р.

    Thank you! Your service is solid!
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
  • Зображення профілю Prakhar

    Prakhar

    15 серп. 2026 р.

    Thanks for being honest about the incident. It actually makes me trust you more, not less.
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
  • Зображення профілю Hope Adeniran

    Hope Adeniran

    15 серп. 2026 р.

    Okay. Glad we're back.
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
  • Зображення профілю Serge D.

    Serge D.

    15 серп. 2026 р.

    As a famous proverb goes, apologies after damage are often ill-timed. This raises the question: what prevented the initial infrastructure design, considering the distribution of services across various geographically remote data centers?
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
  • Зображення профілю Justin

    Justin

    15 серп. 2026 р.

    Spaceship advertises a monthly 99.99% uptime guarantee for hosting. By my count this was an approximately 12-hour incident, which translates to a maximum uptime of 98.4% for August. How do you intend to honor your guarantee?
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
    • Зображення профілю Olga, Hosting Product Operations Specialist

      Olga, Hosting Product Operations Specialist

      18 серп. 2026 р.

      You're right that this took affected services below our 99.99% monthly guarantee, and we're sorry. The cause was a cooling system failure at our Phoenix data center during a major storm, which forced us to take services offline to protect customer infrastructure from overheating. This was a one-off event, not something we've experienced before. We're completing a full review and putting measures in place to make sure it doesn't happen again. If you were affected, please reach out to our Support
  • Зображення профілю Arturo Rabino

    Arturo Rabino

    15 серп. 2026 р.

    I didn't noticed any outage, it's aug 15 today in asia and i received this after I woke up
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
  • Зображення профілю Mike

    Mike

    14 серп. 2026 р.

    I appreciate the transparency, but this indicates that Spaceship is hosted solely in one data center. Are there plans to enhance redundancy?
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
  • Зображення профілю Zek

    Zek

    14 серп. 2026 р.

    I can't image how stressful this has been for you guys... Good job everyone!
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
  • Зображення профілю Ritchy

    Ritchy

    14 серп. 2026 р.

    Thanks for the update!
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
  • Зображення профілю Seventh Ray

    Seventh Ray

    14 серп. 2026 р.

    Why was there no redundancy? If one data center fails, there should be a backup data center that kicks in. Should we be moving to a service provider who doesn't rely on a single data center?
    Потрібно більше 10 символів.
    Ваша ідентичність для публічного відображення.
    Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.
    • Зображення профілю Johnny

      Johnny

      21 серп. 2026 р.

      Why don’t they consider having a second MX record in another friendly DC for the SpaceMail service?I am suprised that both existing MX records are mazbe just 2 VMs in the same (v)LAN.

Поділіться своїми думками

Потрібно більше 10 символів.
Ваша ідентичність для публічного відображення.
Надання вашої електронної адреси є необов'язковим. Вона не буде передана третім особам.

Допоможіть нам покращити наш блог

Поділіться своїми думками в короткому двохвилинному опитуванні.

Потрібна дійсна електронна адреса