メールサーバ障害 (2023/3/17)
- (2023-03-18 11:09:51)
午前2時、障害発生
昨日のメールサーバのトラブル記録。ロリポップのメールサーバの1台が午前2から午後1時過ぎまで約12時間ダウンしていた。
このサーバに乗っているユーザー数は不明だが、勝手な憶測で言えば数万ユーザー？
その全員がメールを使えない状態だったと思われる。
メールはビジネスインフラなので業務への影響は大きい。
しかし、午後には復旧してくれたので当社の場合は幸い夕方までにはトラブルの影響は解消した。
直前の「DDoS攻撃」との関係は？
ロリポップの公開情報によると本障害の数時間前に「DDoS攻撃」を受け、ロリポップのほとんどのサービスがダウンしたようだ。
(誰からの、どこの国からのDDoSかなどの情報は一切不明)
ロリポップ全体が止まったかどうかも不明だが、DDoS攻撃アナウンス後、わずか30分後の「0時27分」に復旧アナウンスがでている。
(ただ、その後もDDoS攻撃は継続的に続いている気配・・)
その後、午前「02時21分」にメールサーバー「mail312」にて障害発生。
ハード障害？
「メールサーバ（mail312）が起動できない状態」と書かれているのでハードトラブルかもしれない。時間帯が近いので上の「DDoS攻撃」に関連したものにも思えるが、詳細は不明。
復旧
アナウンスでは「12:00 を目標に」「代替サーバでサービス」再開を目指すとある・・新規にサーバを建てるとなるとハードの問題だろうか？
なお「メールの送信については現在も可能」とあるが、少なくとも自分のメールは送信不可能でだった。SMTPサーバは障害中の「mail312」とは違うはずので、私の操作方法が悪いのかもしれないが、今となっては検証もできない。
そして、結果的に13時頃に復旧した。復旧したのは機能的な部分でメールデータはなくなっていた。
失われたデータ
アナウンスによるとバックアップデータをリストアするとのことで、どこの時点でのバックアップデータなのか不明だが、ある程度戻ってくると期待していた。
しかし、しばらくして受信できたデータは過去数ヶ月分の古いメールデータがまばらに入ってきただけで、ダウンしていた時間帯と昨日分のデータはほぼ消失していた。
(ダウンしていた時間帯とその前日分のデータが一番欲しいデータ)
ダウン時は受信できないから当然存在しないが、場合によってはSMTPサーバのリトライで救済できるメールも理論的にはあるはずだが、当社の場合は完全消失だった。
また、まばらに入ってきた古いデータはなぜまばらなのか不明である。考えられる可能性を考えてみたが、自分の理解を超えていた。
(いつのバックアップだったのか？・・)
教訓：データは失われる
ロリポップさんには長年お世話になっているがメールサーバ障害は何度か経験している。
メールサーバ障害はロリポップに限らずどんな業者でも確実に起きる。
(滅多に起きないが)
データが消失してもビジネスを継続できるだけのデータの多ソース化を検証するよい機会だった。
※下記はロリポップの公開情報：
ロリポップ社の「障害情報」
2023/03/17 mail312をご利用中のお客様へ
[2023年3月17日 02時21分 掲載]
現在【mail312】のサーバーにおきまして、サーバーに接続することが出来ない現象が発生しております。
[2023年03月17日 04時08分 更新]
対応が完了いたしました。
■影響時間帯
2023年03月16日 02時00分 ～ 02時45分
2023年03月16日 03時13分 ～ 03時25分
[2023年03月17日 04時18分 更新]
サーバーに接続することが出来ない現象が再発しております。
[2023年03月17日 09時07分 更新]
障害によりメールサーバ（mail312）が起動できない状態となっております。
現在、代替サーバでサービスが開始できるように準備を進めており、「3/17 12:00」を目標に、新規メールの受信・POPによる接続ができるよう対応を行っております。
なお、メールの送信については現在も可能な状況です。
[2023年03月17日 11時29分 更新]
■対象サーバー：mail312
■発生時刻：2023年3月17日2時21分～
■影響範囲：POP・IMAP接続（ロリポップ！Webメーラー含む）
※IMAP接続およびロリポップ！Webメーラーについては復旧に数日かかる見込みになっています。
障害の発生中に受信されたメールについては復旧後に順次受信されることになりますが、POP接続の復旧直後はサーバー上のメールデータが未復旧の状態となっています。
障害の発生以前に受信されていたデータは弊社バックアップデータをもとに順次復旧を進めますが、アカウントによっては復旧までに数日かかる場合がございます。
[2023年03月17日 13時13分 更新]
トラブルが発生しているアカウントに対し、POPの接続を復旧いたしました。
ただし、一部のアカウントについては別途対応を継続しているため、現在も復旧ができておりません。
復旧の対象外となるアカウントはメールサーバー番号が【mail333】に変更されております。
メールサーバー番号はユーザー専用ページ上で確認いただけますので、対象のお客様はご確認をお願いいたします。
■【mail333】のお客様
メールサーバー番号が【mail333】となっているお客様については現在POP接続の復旧を急いでおります。
■【mail312】のお客様
メールサーバー番号が【mail312】となっているお客様についてはPOP接続を復旧いたしました。以降メールソフトによるPOP接続が可能になっております。
ただし、現在サーバー上にはメールデータは存在しておらず、弊社側で保持しているバックアップデータをもとにメールデータの復旧作業を進めている状況です。
そのため今回初めてPOP接続をされる場合、メールデータの復旧完了まではサーバー上にメールが存在しないという現象が発生します。
メールデータの復旧についてはアカウントにより異なりますが、数日かかる場合がございます。
また、データの復旧とあわせて、障害発生中に受信されていたメールも順次サーバーへ反映されることになります。
なお、既存の受信メールはメールのバックアップデータが保持された時点に戻るため、メールデータの復旧後も一部のメールがサーバーに反映されない状況となります。
POP接続で未受信のメール、および、IMAP接続・ロリポップ！Webメーラーをご利用の場合の受信トレイ上の一部のメールにおきまして、欠落が発生する可能性がございます。
[2023年03月17日 15時20分 更新]
■【mail312】のお客様
メールサーバー番号が【mail312】となっているお客様については継続してメールデータの復旧作業、およびIMAP接続の復旧に向けて対応を進めております。
■【mail333】のお客様
本障害の発生後にメールサーバー番号が【mail333】へ変更されたアカウントについては現時刻をもって発生していたトラブルが復旧いたしました。
現在はPOP／IMAP接続ともに可能となっており、また障害発生中に受信されたメール含めて、サーバー上のメールについて欠落は発生しない見込みです。