目の前の問題は障害でしたが、根底にある問題ははるかに深刻でした。会社は18か月で8名のエンジニアから25名へと成長していました。その成長の間、誰もアクセス制御システムを保守していませんでした。AWS IAMロールはその場しのぎで作られ、たいていは新たに範囲を絞るのではなく、すでに動いている既存のポリシーをコピーしていたため、権限は積み上がる一方で決して縮小しませんでした。新入社員には、適切に範囲を絞るより速いという理由で広範な権限が与えられていました。これは珍しい失敗ではありません。実際には、誰も後から刈り込まないために、ほとんどのIAMロールは過剰権限へと流れていきます。しかもコードのバグと違い、過剰な権限は問題を直視させる目に見えるエラーを何も生み出しません。数か月前に去った業務委託者でさえ、有効な長期アクセスキーを保持したままでした。これはまさに、AWSが今や短期のフェデレーテッドアクセスへの置き換えを推奨している、常設認証情報の典型です。障害の2週間前に入社したインターンには、CTOと同じアクセスレベルが与えられていました。オンボーディングのスクリプトが、会社が8名だった頃から更新されていなかったからです。
障害そのものは、本番データベースのテーブルが誤って削除されたことが原因でした。インターンは、開発環境だと思い込んでいた場所でデータ移行スクリプトを試していました。実際は違いました。会社には環境分離が一切ありませんでした。開発、ステージング、本番が同じAWSアカウントと同じIAMポリシーを共有していたため、テストスクリプトと実際の顧客データの間に立ちはだかるものは、接続文字列ただひとつでした。インターンのスクリプトが本番データベースに対して実行されたのは、その接続文字列が既定で本番を指しており、その違いを誰も文書化していなかったからです。この構成のどこにも、危険な操作を危険だと感じさせるものはありませんでした。それこそが、チームで最も新しい人物のたった一度のキー入力が、数千人のユーザーが利用する製品を停止させた理由です。
エンジニアリングチームがトラブルシューティングを始めたとき、根本原因を特定できませんでした。データベースにアクセスログが一切設定されていなかったからです。CloudTrailは既定どおり有効でしたが、誰も一度も開いたことがなかったため、調査を数分で終わらせられたはずの唯一の記録は手つかずのまま放置され、4人のエンジニアは他のあらゆる場所を探し回っていました。チームはアプリケーションコードの確認、サービスの再起動、デプロイログのレビューに4時間を費やした後、ようやくPineidoがIAMアクティビティの確認を提案しました。CloudTrailは、テーブル削除のような管理イベントについて、呼び出し元のID、送信元IP、正確なタイムスタンプを記録します。これこそが、この種のインシデントの決め手になるものです。CloudTrailを確認してから30分以内に、テーブルを削除した正確なAPI呼び出しを特定し、呼び出し元のIDから侵入ではなく事故であることを確認し、それをインターンの認証情報まで追跡しました。データベースは、幸いにもわずか90分前のバックアップから復元されました。障害の合計はおよそ5時間で、その数字に最も大きく寄与したのは削除そのものではなく、誤った場所で答えを探していた時間でした。