お知らせ5月27日に発生しました障害について、調査結果と対応についてのご報告
お客様各位
いつもお世話になっております。
ロックウェーブサポートセンターでございます。
5月27日に発生しました障害につきまして、調査状況と対策をご報告させていただきます。
改めて、この度はお客様には多大なるご迷惑をお掛けしましたことを深くお詫び申し上げます。
5月27日18:53に復旧作業は完了し、以降現在まで障害の発生はございません。
1. 2024年5月27日（月）10:48-13:28（※24時間表示）
2. 2024年5月27日（月）14:58-15:24（※24時間表示）
3. 2024年5月27日（月）18:26-18:53（※24時間表示）
サイトの通信が繋がりにくい状況が発生しておりました。
新管理画面および新ショップサイト
初回にご案内いたしました障害報告でアクセス集中によるものとご報告いたしましたが、
調査の結果、障害発生は異なる要因で発生していたことを確認いたしました。
誤ったご案内となりましたことをお詫び申し上げます。
調査の結果、httpsでの通信に必要なSSL証明書を保管しているファイルサーバーの通信速度が一時的に低い状態にあり、
当ファイルサーバーと接続されているプロキシサーバーの台数変更を行いました際、
サーバー間の通信量が増大し、通信をさばききれなくなったことでSSL証明書の取得処理に大幅な遅延が生じていたことが判明いたしました。
この遅延により、システムへアクセス時のhttpsでの通信セッションの開始が遅延し、サイトの通信が繋がりにくくなっておりました。
プロキシサーバーの台数変更時に当サーバーに不調が発生することが確認できたため、
5月27日（月）18:53頃に不調なサーバーを経由しないよう構成を変更し、
一時的にプロキシサーバーの台数が変更されないように設定を変更いたしました。
ファイルサーバーの設定を見直し、通信速度が利用状況に応じて自動的に適切な速度となるよう設定を変更いたしました。
また、後述の6月4日（火）05:00-08:00（※24時間表示）に予定しておりますメンテナンスにより、
暫定対応で変更したシステム構成を元に戻す対応を行います。
1. 2024年5月27日 10:46
2. (1回目発生)2024年5月27日 10:48
3. 2024年5月27日 11:30
4. 2024年5月27日 12:40
5. 2024年5月27日 12:53
6. (1回目復旧)2024年5月27日 13:28
7. (2回目発生)2024年5月27日 14:58
8. (2回目復旧)2024年5月27日 15:24
9. (3回目発生)2024年5月27日 18:26
10. (3回目復旧)2024年5月27日 18:53
11. 2024年5月29日 10:00頃
12. 2024年5月29日 22:00頃
13. 2024年5月31日 現在
この度はお客様には多大なるご迷惑をお掛けしましたことを改めてお詫び申し上げます。
2024年6月4日（火） 05:00-08:00（※24時間表示）を予定して、
前述の暫定対応にて変更したシステム構成を元に戻す緊急メンテナンスを実施いたします。
詳細については別途メンテナンス情報を配信いたしますのでご確認ください。
今後とも、これまで以上に安心・安全で拡張性のあるサービスになるべく、全社をあげて対応をおこなってまいります。
引き続きシステムの改善、強化を行ってまいりますので、今後ともaishipシリーズを何卒よろしくお願い申し上げます。
いつもお世話になっております。
ロックウェーブサポートセンターでございます。
5月27日に発生しました障害につきまして、調査状況と対策をご報告させていただきます。
改めて、この度はお客様には多大なるご迷惑をお掛けしましたことを深くお詫び申し上げます。
5月27日18:53に復旧作業は完了し、以降現在まで障害の発生はございません。
■発生原因について、調査結果のご報告
障害発生日時
1. 2024年5月27日（月）10:48-13:28（※24時間表示）
2. 2024年5月27日（月）14:58-15:24（※24時間表示）
3. 2024年5月27日（月）18:26-18:53（※24時間表示）
障害内容
サイトの通信が繋がりにくい状況が発生しておりました。
障害範囲
新管理画面および新ショップサイト
発生原因
初回にご案内いたしました障害報告でアクセス集中によるものとご報告いたしましたが、
調査の結果、障害発生は異なる要因で発生していたことを確認いたしました。
誤ったご案内となりましたことをお詫び申し上げます。
調査の結果、httpsでの通信に必要なSSL証明書を保管しているファイルサーバーの通信速度が一時的に低い状態にあり、
当ファイルサーバーと接続されているプロキシサーバーの台数変更を行いました際、
サーバー間の通信量が増大し、通信をさばききれなくなったことでSSL証明書の取得処理に大幅な遅延が生じていたことが判明いたしました。
この遅延により、システムへアクセス時のhttpsでの通信セッションの開始が遅延し、サイトの通信が繋がりにくくなっておりました。
暫定対応
プロキシサーバーの台数変更時に当サーバーに不調が発生することが確認できたため、
5月27日（月）18:53頃に不調なサーバーを経由しないよう構成を変更し、
一時的にプロキシサーバーの台数が変更されないように設定を変更いたしました。
恒久対応
ファイルサーバーの設定を見直し、通信速度が利用状況に応じて自動的に適切な速度となるよう設定を変更いたしました。
また、後述の6月4日（火）05:00-08:00（※24時間表示）に予定しておりますメンテナンスにより、
暫定対応で変更したシステム構成を元に戻す対応を行います。
対応経緯
1. 2024年5月27日 10:46
プロキシサーバーの台数を変更
2. (1回目発生)2024年5月27日 10:48
障害発生
3. 2024年5月27日 11:30
アクセス集中による障害であると考え、各サーバー台数を増強
4. 2024年5月27日 12:40
特定のデータセンターのサーバーで障害が発生していることを確認したため、
プロキシサーバーの配置先データセンターを変更、プロキシサーバー台数を増強
プロキシサーバーの配置先データセンターを変更、プロキシサーバー台数を増強
5. 2024年5月27日 12:53
他のサーバーの配置先データセンターを変更、当サーバー台数を増強
6. (1回目復旧)2024年5月27日 13:28
6の実施後、再度不安定になったため、データセンターの配置先を元に戻し、復旧を確認
7. (2回目発生)2024年5月27日 14:58
再度障害が発生、プロキシサーバー以外のサーバーを増強
8. (2回目復旧)2024年5月27日 15:24
復旧が確認できたため、調査を開始
9. (3回目発生)2024年5月27日 18:26
サーバー台数の変更に伴い、再度障害が発生
10. (3回目復旧)2024年5月27日 18:53
復旧を確認、サーバー台数の変更により不安定になることが確認できたため、サーバー台数を以降固定化
11. 2024年5月29日 10:00頃
調査の結果、障害発生直前にファイルサーバーの通信速度が低下していたことが判明
ファイルサーバーの通信速度が自動的に適切な速度となるよう設定を変更
テスト環境にて再現確認を開始
ファイルサーバーの通信速度が自動的に適切な速度となるよう設定を変更
テスト環境にて再現確認を開始
12. 2024年5月29日 22:00頃
テスト環境にて、ファイルサーバーの通信速度が低下していた際に、本番環境と同様の事象が再現することを確認
13. 2024年5月31日 現在
本障害報告を公開
■今後の対応とメンテナンスについて
この度はお客様には多大なるご迷惑をお掛けしましたことを改めてお詫び申し上げます。
2024年6月4日（火） 05:00-08:00（※24時間表示）を予定して、
前述の暫定対応にて変更したシステム構成を元に戻す緊急メンテナンスを実施いたします。
詳細については別途メンテナンス情報を配信いたしますのでご確認ください。
今後とも、これまで以上に安心・安全で拡張性のあるサービスになるべく、全社をあげて対応をおこなってまいります。
引き続きシステムの改善、強化を行ってまいりますので、今後ともaishipシリーズを何卒よろしくお願い申し上げます。