マネーフォワードのコーポレートエンジニアがやっているSaaSの障害検知方法

こんにちは。マネーフォワードでコーポレートエンジニアリングを担当している下村です。

コーポレートエンジニアリングって？という方はこちらをご参照下さい。
誤解を恐れず言えば、社内ITをハックする人 といった職種です。

今回は、弊部で実施している SaaSの障害検知方法 について共有させていただきます。

なぜSaaSの障害検知が必要なのか

我々、コーポレートエンジニアリングのミッションの一つに 社員にIT環境を安定して提供し続ける というものがあります。
ただ、障害によりSaaS製品がサービス停止になってしまうということもあります。

外部取引先との連携用に使っているSaaSなどもあるので、サービス停止してしまう＝売上に影響してしまうような事態も発生してしまうこともあります。
(例：商談でWeb会議を使用しようとしていたがサービス停止により商談の機会を損失する、等)

サービス停止自体は我々では防ぎようがないので、せめてサービス停止時は 障害検知を迅速に行い、代替策の検討/提供の開始 など、被害を最小限に抑える行動が必要になります。

ではマネーフォワードのコーポレートエンジニアはどうやって障害検知しているか

あまりコストもかけたくなかったので、 Twitterのつぶやき をトリガーに障害検知しています。
具体的には下記のようにしています。

1. Twitterで管理対象のSaaSに対する障害情報をつぶやく人がいる。
2. その障害情報を元に、SaaS側公式の障害情報案内ページを確認  
3. 同タイミングで障害情報を元に手元で再現できないか検証

上記確認を行った後に、社内向けにアナウンスを行っています。

障害検知方法には色々と手段があると思いますが、 ユーザーの生の声 が情報鮮度が良いことから、こういった手法を採用しています。
なお、公式の障害情報案内ページではそもそも障害ステータスを案内してくれないケースもありますので、ユーザーの生の声じゃないとわからないこともあります。

障害ステータスが更新されなかった例

ただ、Twitterを常時眺めているわけにもいかないので、マネーフォワードでは
特定条件に合致したつぶやきをSlackに自動で通知するようにしました

次からはその方法を共有致します。

Twitterのつぶやきから障害検知を行う方法

お金をかけたくなかった＆運用をシンプルにしたかったので、スプレッドシートとGoogle Apps Scriptで実装しました。
(ちなみに、この実装内容についてはGitHubリポジトリに公開しているので、流用すれば使えるようにしてあります。よろしければどうぞ。)

障害検知方法ですが、下記のような方法で実装しています。

スプレッドシートに障害検知したい「SaaS名」と「障害とみなすつぶやきのキーワード」を記載。
- 例：
  - SaaS名： ○△SaaS
  - 障害キーワード：落ちた
Google Apps Scriptで上記1の文言をTwitter APIを利用してTwitterから検索する処理を定期実行する。
障害に該当するメッセージのつぶやき数が多い場合、Slackに通知。
- 短時間に数件の障害つぶやきがあれば、障害とみなしてSlackに通知するようにしています。理由は下記の通りです。
  - 1-2件のつぶやきでは誤報の可能性が高いため。
  - 感覚的には短時間に5件以上のTweetがあれば信用して良さそうと判断しています。(実運用でもそのような実装にしてます)
動作イメージ図

実績について

前述したTwitterのつぶやき検知の自動化により、2020年9月25日10時頃に発生したG Suite障害をいち早く検知することができました。下記画像の時間を見て頂ければわかるのですが、障害発生からいち早く検知できています。
(なお、当時は G Suite ステータスダッシュボードはオールグリーンでした)