オオカミ少年の
「Alert Fatigue」
「CPU使用率が80%を超えました」
毎日100回鳴るその通知を、開発チームは「ああ、いつものね」とスワイプして消しました。
しかし101回目、それは「アクセス不能」の警告でした。誰も気づかないまま。
- Slackの「#alert」チャンネルは、常に未読バッジがついたままだ
- 「情報（Info）」も「警告（Warning）」も「緊急（Critical）」も全て同じチャンネルに流れる
- 夜中に携帯が鳴っても「どうせ誤検知だろ」と寝直す癖がついた
- アラートメールの振り分け設定で「既読にする」にしている
本当に重要な警告が来た時、誰も動きません。
01. 鳴り止まないベル
監視ツール（Datadog/Mackerel/Zabbix）を導入した直後、嬉々としてあらゆるメトリクスにアラートを設定しがちです。
しかし、アクション不要な通知は立派な「ノイズ」です。
ノイズに埋もれたシグナルを見つけるのは不可能です。オオカミ少年は嘘をついたのではなく、騒ぎすぎたのです。
設定を消せ。
02. アラートの断捨離
「夜中の3時に叩き起こされてでも対応すべきこと（Critical）」以外は、プッシュ通知すべきではありません。
「明日見ればいいこと（Warning）」は毎朝のレポートへ。
通知チャンネルを分け、Criticalな通知にはPagerDutyなどの電話発信ツールを連携させる。
「通知＝即座に行動」という条件付けを脳に再構築する必要があります。
03. 傾向監視と予防
「CPU80%」でアラートを出すのではなく、「このままだと30分後に100%になる」という傾向（Trend）を検知すべきです。
しきい値監視から異常検知・予兆検知へ。
モダンな監視は、人間を疲れさせるのではなく、人間に「次の手を打つ余裕」を与えるものです。