Programming Self-Study Notebook

勉強したことを忘れないように! 思い出せるように!!

AWSの障害情報をチェックする方法

f:id:overworker:20210404081310g:plain:w500



2021年4月2日に自システムの障害アラートが発生しました。
原因は同時刻にWAF障害が発生していたためなのですが、そのことに気が付くのが遅れたため自システムのClowdWatchLogsばかり確認してしまいました。
また、そもそも自分の中でAWS障害の発生状況を確認するという意識が低いことに気が付いたためAWSの障害情報の確認方法についてまとめておきたいと思いました。

基本『aws SERVICE HEALTH DASHBOARD』を確認する

aws SERVICE HEALTH DASHBOARD』へアクセスする

ページの構成

  • CurrentStatus

アマゾンウェブサービスは、サービスの可用性に関する最新情報を以下の表に公開しています。 いつでもここに戻って現在のステータス情報を取得するか、RSSフィードを購読して個々のサービスの中断を通知してください。 以下に記載されていない当社のサービスのいずれかでリアルタイムの運用上の問題が発生している場合は、「お問い合わせ」リンクをクリックしてサービス問題レポートを送信してお知らせください。 すべての日時は太平洋標準時(PST / PDT)です。

アマゾンウェブサービスは、過去1年間に以下の表に公開したすべてのサービス中断の実行ログを保持します。 以下のステータスアイコンのいずれかにマウスを合わせると、詳細なインシデントレポートが表示されます(アイコンをクリックすると、ポップアップが表示されたままになります)。 表の上部にある矢印ボタンをクリックして、カレンダーを前後に移動します。 すべての日時は太平洋標準時(PST / PDT)です。

具体的な内容の確認を実施する

現時点では、AWS上の不具合が解消されていますので、CurrentStatusは正常を示しており、不具合発生時の様子を確認することは出来ません。ココでは、本日(2021年4月4日)時点で2021年4月2日に発生したWAFの不具合がどのように閲覧できるかを確認します。

f:id:overworker:20210404131948p:plain:w410
  • 1列目とそれ以外の領域で、行の高さ方向の幅に違いがあるので表示がずれていますが、4/2の欄でマークが他と違いサービスが存在することが確認できます。
  • 他と違うマークの上にポインタを重ねると、ポップアップが表示され、その日に発生した問題の内容が確認できます。
    • 表示位置がAWS WAFの行とずれていますが、ポップアップのタイトルからWAFの不具合に関する通知であることが確認できます。

[解決済み] AWS WAF-AP-NORTHEAST-1でのブロックされたリクエストの増加と、ルール変更の伝播の遅延 8:52 PM PDTAP-NORTHEAST-1リージョンでApplicationLoad Balancer(ALB)またはAPIGatewayでAWSWAFを使用している一部のお客様は、AWS WAFルールの変更の伝播が遅く、ブロックされたWebリクエストが増加しています。根本原因を特定し、問題の修正に取り組んでいます。問題が解決するまで、アプリケーションロードバランサーAWS WAFを使用しているお客様は、オプションで、WAFフェイルオープン属性(https://docs.aws.amazon.com/elasticloadbalancing/latest/application/application)を有効にすることで、リクエストをターゲットに転送するようにALBを設定できます。 -load-balancers.html#load-balancer-waf)、およびAPIGatewayでAWSWAFを使用しているお客様は、影響を受けるWebACLを一時的に無効にすることができます。 9:13 PM PDT 7:10 PMから8:25 PM PDTの間に、AP-NORTHEAST-1リージョンでApplication Load Balancer(ALB)またはAPIGatewayでAWSWAFを使用する一部のお客様は、AWSWAFルールの変更の伝播が遅くなりました。ブロックされたウェブリクエストの増加。この問題は解決され、サービスは正常に動作しています。

※ 時間の単位が(PDT)であることを確認しましょう。PDTとは、太平洋標準時は、西海岸標準時ともいい、協定世界時を8時間遅らせた、主にアメリカ西海岸の地域の標準時である。「-0800」のように表示する。 なお、夏時間では協定世界時より7時間遅れ、太平洋夏時間と呼ばれている。

確認できる内容
  • 現在の状況
  • 障害が発生していた時間帯
  • 障害発生時のAWSの振る舞い
  • AWS利用者がとるべき対応方法
    • WAFがALBとAPIGatewayのどちらに設定されているかで、とるべき行動が変わるようですが、どちらの場合についでも対応方法が記述されていることが確認できます。