Spaceshipサービス障害に関する最新情報

8月13日、複数のSpaceshipサービスに影響を及ぼす大規模なサービス停止が発生しました。

原因は、一部の重要なSpaceship運用をホストしているRadiusDC: Phoenixデータセンターでの冷却システム障害でした。これにより、過熱や損傷の可能性からお客様のインフラを保護するため、サービスをオフラインにする必要がありました。

現在、インシデントの影響を受けたすべてのものは復旧しており、安定した状態が維持されるよう、当社チームは引き続きシステムを注意深く監視しています。

当社のWebサイト、メール、その他のオンラインサービスを頼りにしているお客様に影響が及んだことを、心より深くお詫び申し上げます。これによって生じた障害と、その背景にある状況を、当社は極めて深刻に受け止めています。

何が起きたのか

このインシデントは、大規模な嵐によりPhoenixデータセンターの冷却システムが故障し、当社インフラ周辺の温度が危険な水準に達したことで始まりました。

このような状況でシステムの運用を続けると、機器が過熱し、長期的かつ壊滅的な損傷を受けるリスクがありました。サービスをオフラインにしたことで大きな混乱が生じましたが、お客様のインフラを保護するために必要な措置でした。

冷却システムがオンラインに戻るまで機器をオフラインのままにしておくことで、復旧開始前に温度が安全な水準へ戻る時間も確保できました。これにより、すでに深刻なインシデントをさらに長引かせる可能性のある追加の問題の発生を防ぐ助けとなりました。

お客様への影響

この停止は、Shared、VPS、メール転送、Spacemailを含むサービスに影響しました。Spaceship.comはインシデントの間を通じてオンラインのままでした。

以下は、この状況が主要な製品とサービスにどのような影響を与えたかの内訳です。

ホスティング運用

Webサイトおよびホスティングサービスへのお客様のアクセスに影響が出て、多くのお客様のWebサイトが利用できない、遅い、またはエラーを返す状態となりました。また、処理を担当するシステムがインシデント中にオフラインになったため、一部の請求業務も利用できませんでした。

EasyWP

EasyWPのダッシュボードとお客様のWebサイトに障害が発生しました。復旧中、EasyWP.comとダッシュボードが復元された後も、一部のお客様のWebサイトは利用できないままで、データベース接続エラーを返すものもありました。

Spacemail

メールサービスにも障害が発生しました。影響を受けたお客様はメールを送信できず、関連サーバーがオフラインの間は受信メールも配信されませんでした。

重要なのは、これが受信メッセージの自動的な消失を意味するわけではないということです。通常、メールプロバイダーは受信サーバーが一時的に利用できない場合、再配信を試みます。そのため、メッセージは届きますが、通常より遅れて到着します。

サービスをどのように復旧したか

RadiusDCは可能な限り早く冷却能力の復旧を開始し、一方で一時的な冷却装置が設置され、温度を下げるためにデータセンター内の当社エリアへ送風されました。

当社チームは、冷却を復旧するためにRadiusDCとともに現地で継続的に作業しました。温度が安全な運用レベルに戻り、過熱や長期的な損傷のリスクがないと確信できて初めて、サービスのオンライン復帰を開始しました。

安全な運用条件が回復した後、当社インフラ全体で制御された復旧を開始しました。これは段階的に進める必要があったため、お客様にはサービスごとに復旧時刻が異なって見えました。

サービスが段階的に復旧された理由

インシデントの規模が大きかったため、当社プラットフォームの異なる部分が同時に障害を受けました。お客様には別々のサービスとして認識されますが、データセンターのインシデントは、その多くを提供するためのインフラに影響を与えました。

ホスティングやメールのようなサービスは、サーバー、ネットワーク、ストレージ、データベースを含む複数の技術レイヤーに依存しています。これらを復旧するには、すべてを一度に再起動するのではなく、異なる要素を正しい順序でオンラインに戻す必要がありました。

今後について

当社は、この障害とそれがお客様に与えた影響を非常に深刻に受け止めています。 

当社チームは、システムを強化し、同様のインシデントが再発しないようにするため、この状況について徹底的な見直しを行っています。

当社は、得られた知見について完全に透明性を保ち、講じている対策とともにその結果を皆様に共有します。

訂正: 当社のデータセンター運営事業者はRadiusDCであり、8月13日にXへ投稿された初期の複数の投稿で言及されたPhoenixNAPではありません。PhoenixNAPはこのインシデントに関与していません。