42件の脆弱性とインターンのAWSキー

  • 脆弱性42件を修正
  • 本番環境を当日復旧
  • アクセス制御を再構築
  • 42 是正した重大な脆弱性
  • 2 時間未満 Pineidoの関与から本番復旧までの時間
  • 8 失効させた元従業員の古い認証情報

何が変わったか

是正した重大な脆弱性
42
Pineidoの関与から本番復旧までの時間
2時間未満
失効させた元従業員の古い認証情報
8
保護したパブリック公開S3バケット
6
作成した独立したAWS環境
3
是正以降のアクセス問題による本番インシデント
0

お客様の言葉で

まるでソースまみれのスパゲッティだ。誰かが全体像を見せてくれるまで、自分たちがどれほど無防備かまるで分かっていなかった。あの監査はおそらく、5時間の障害よりはるかに悪い何かから我々を救ってくれた。
Tariqエンジニアリングマネージャー、成長中のテクノロジー企業

状況

従業員60名、毎日数千人のアクティブユーザーが利用する製品を持つ成長中のテクノロジー企業が、突然の本番障害に見舞われました。アプリケーションは業務時間中にダウンし、顧客向けのトラフィックは数分のうちにエラーを返し始めました。エンジニアリングチームは4時間以上トラブルシューティングを続けても解決できませんでした。何が変わったのか、誰が何に触れたのか、どこから調べ始めればよいのか、誰にも確信が持てませんでした。サービスを再起動し、直近2回のデプロイをロールバックし、アプリケーションのログを丹念に調べましたが、障害は誰が探しても見つからないコードパスのどれとも一致しませんでした。CEOが4時間目を過ぎてからPineidoに電話をかけたのは、社内チームが堂々巡りをしており、ダウンタイムが1時間延びるごとにコストが膨らんでいたからです。障害が露呈させたにすぎない、より根深い問題は、この会社があらゆるインシデントで最も基本的な問い、つまり「誰がいつ何をしたのか」に答える手段を持っていなかったことです。その答えがなければ、4人のエンジニアは何時間も誤った層を追いかけかねません。

本当に壊れていたもの

目の前の問題は障害でしたが、根底にある問題ははるかに深刻でした。会社は18か月で8名のエンジニアから25名へと成長していました。その成長の間、誰もアクセス制御システムを保守していませんでした。AWS IAMロールはその場しのぎで作られ、たいていは新たに範囲を絞るのではなく、すでに動いている既存のポリシーをコピーしていたため、権限は積み上がる一方で決して縮小しませんでした。新入社員には、適切に範囲を絞るより速いという理由で広範な権限が与えられていました。これは珍しい失敗ではありません。実際には、誰も後から刈り込まないために、ほとんどのIAMロールは過剰権限へと流れていきます。しかもコードのバグと違い、過剰な権限は問題を直視させる目に見えるエラーを何も生み出しません。数か月前に去った業務委託者でさえ、有効な長期アクセスキーを保持したままでした。これはまさに、AWSが今や短期のフェデレーテッドアクセスへの置き換えを推奨している、常設認証情報の典型です。障害の2週間前に入社したインターンには、CTOと同じアクセスレベルが与えられていました。オンボーディングのスクリプトが、会社が8名だった頃から更新されていなかったからです。

障害そのものは、本番データベースのテーブルが誤って削除されたことが原因でした。インターンは、開発環境だと思い込んでいた場所でデータ移行スクリプトを試していました。実際は違いました。会社には環境分離が一切ありませんでした。開発、ステージング、本番が同じAWSアカウントと同じIAMポリシーを共有していたため、テストスクリプトと実際の顧客データの間に立ちはだかるものは、接続文字列ただひとつでした。インターンのスクリプトが本番データベースに対して実行されたのは、その接続文字列が既定で本番を指しており、その違いを誰も文書化していなかったからです。この構成のどこにも、危険な操作を危険だと感じさせるものはありませんでした。それこそが、チームで最も新しい人物のたった一度のキー入力が、数千人のユーザーが利用する製品を停止させた理由です。

エンジニアリングチームがトラブルシューティングを始めたとき、根本原因を特定できませんでした。データベースにアクセスログが一切設定されていなかったからです。CloudTrailは既定どおり有効でしたが、誰も一度も開いたことがなかったため、調査を数分で終わらせられたはずの唯一の記録は手つかずのまま放置され、4人のエンジニアは他のあらゆる場所を探し回っていました。チームはアプリケーションコードの確認、サービスの再起動、デプロイログのレビューに4時間を費やした後、ようやくPineidoがIAMアクティビティの確認を提案しました。CloudTrailは、テーブル削除のような管理イベントについて、呼び出し元のID、送信元IP、正確なタイムスタンプを記録します。これこそが、この種のインシデントの決め手になるものです。CloudTrailを確認してから30分以内に、テーブルを削除した正確なAPI呼び出しを特定し、呼び出し元のIDから侵入ではなく事故であることを確認し、それをインターンの認証情報まで追跡しました。データベースは、幸いにもわずか90分前のバックアップから復元されました。障害の合計はおよそ5時間で、その数字に最も大きく寄与したのは削除そのものではなく、誤った場所で答えを探していた時間でした。

ステップごとに

インシデントのトリアージと根本原因の特定

私たちはアプリケーションコードではなく、CloudTrailのログとIAMアクティビティレポートから着手しました。対応するコード変更のない突然の障害は、プログラムのバグではなく、アクセスとIDの問題だからです。30分以内に、障害を引き起こした正確なAPI呼び出しを見つけ、イベントそのものから呼び出し元のIDを読み取ってアカウント侵害の可能性を排除し、それをインターンの認証情報まで追跡しました。本番データベースは、わずか90分前の最新の自動バックアップから復元され、データ損失はごくわずかでした。私たちの関与から本番復旧までの合計時間は2時間未満で、これは社内チームがすでに誤った層を探すのに費やしていた4時間と対照的です。

IAMとインフラの全面監査

続く5日間で、AWSアカウント内のすべてのIAMロール、ポリシー、認証情報を監査し、最終アクセスデータとCloudTrailの履歴を用いて、単に付与されているだけでなく実際に行使されている権限を見極めました。私たちは42件の重大な脆弱性を発見しました。読み取り専用であるべきところに管理者レベルのアクセスを持つ過剰権限ロール11件、まだ有効だった元従業員と業務委託者の認証情報8組、顧客データを含むパブリック読み取りアクセスのS3バケット6個、無制限のインバウンドルールを持つセキュリティグループ9個、環境変数にAPIキーをハードコードしたLambda関数5個、そして暗号化されていないデータベースインスタンス3個です。これらの大半は新しいものではありませんでした。18か月の成長が残した静かな残渣であり、ひとつひとつは作られた瞬間には個別に正当化できるものでしたが、合わさると、障害が問いを突きつけるまでもなく、会社が侵害され得たあらゆる経路の地図になっていたのです。

環境分離

私たちはAWS Organizationsを用いて、開発、ステージング、本番のために別々のAWSアカウントを作成しました。これにより、テストスクリプトと実際の顧客データの間の境界は、設定ファイル内の文字列ではなく、アカウントの境界になりました。各環境は独自のIAMポリシー、ネットワーク構成、データベースインスタンスを得ました。接続文字列は、環境ごとのアクセス制御を備えたAWS Secrets Managerへ移され、開発ロールには本番のシークレットに到達する経路を一切与えませんでした。障害を引き起こしたシナリオは構造的に不可能になりました。開発コンテキストから実行されたスクリプトは、誰が実行しようと、接続文字列に何が書かれていようと、もはや本番テーブルを見ることも、ましてや削除することもできません。

アクセスポリシーの実装

私たちは、各職務機能を必要最小限の権限に対応づけるロールベースアクセス制御マトリクスを構築しました。これにより、アクセスは誰かがたまたまコピーしたポリシーではなく、常に文書化された業務上の理由までさかのぼれるようになりました。すべての従業員は、そのマトリクスに照らしてゼロから、範囲を絞った認証情報で再プロビジョニングされ、既定は読み取り専用とし、ロールが本当に必要とする場合にのみ昇格させました。正式なアクセス申請プロセスを導入しました。あらゆる権限変更にはマネージャーの承認が必要で、中央レジスタに記録され、誰が何をなぜ承認したのかを示すクリーンな監査証跡が残ります。本番アクセスには2名による承認を必須とし、これは意図的な職務分掌であり、若手であれベテランであれ、誰ひとり単独で不可逆な変更を行えないようにするためのものです。インターンには、本番への可視性を一切持たない開発専用ロールが与えられました。

監視とアラート

私たちは、高リスクのAPI呼び出し(テーブル削除、IAMポリシー変更、セキュリティグループの変更、そしてログそのものを停止または削除しようとするあらゆる試み)に対する自動アラートを備えたCloudTrailログ分析を構成しました。監査証跡の改ざんは、インシデントが事故ではなく悪意によるものであることを示す最も明確な兆候だからです。新たな過剰権限ロールや外部公開されたリソースが、当初の42件の指摘を生んだのと同じ蓄積パターンへ逆戻りする前に検出できるよう、週次の自動スキャンを設定しました。エンジニアリングチームには、今回のインシデントが本来始まるべきだった場所から始まるインシデント対応のランブックを渡しました。まずCloudTrailからIDとタイムスタンプを取り出すのです。そうすれば、次に障害が起きたとしても、4時間の当て推量ではなく、構造化された調査の道筋をたどることになります。

42 是正した重大な脆弱性

お問い合わせ

作りたいものを教えてください。どこから始めるか、何が必要かをお伝えします。

当社が合うかどうかを決める質問

完全なセキュリティ監査にはどれくらいかかりますか?

初回の監査には5営業日を要し、アカウント内のすべてのIAMロール、ポリシー、認証情報、S3バケット、セキュリティグループ、データベースインスタンスを対象としました。42件すべての脆弱性の是正にはさらに2週間を要し、最も影響の大きい露出(公開状態で読み取り可能な顧客データのバケットと、まだ有効だった元従業員の認証情報)が最後ではなく最初の数日で塞がれるよう順序立てました。インシデントからインフラの完全な堅牢化まで、関与の総期間は3週間でした。範囲は蓄積した散らかり具合に応じて増減しますが、この規模と成長の経緯を持つ会社であれば、3週間が一般的です。

インシデントが起きていなくてもセキュリティ監査をすべきですか?

はい。私たちが見つけた脆弱性の大半は1年以上前から存在していました。障害は引き金にすぎず、露出はそれよりはるかに前から存在していました。公開状態のS3バケットや、すでに会社を去った人々の有効な認証情報は、たまたま見にきた誰かのために静かに待ち構えていたのです。それがアクセス制御リスクの本質です。エラーメッセージも失敗したデプロイも生み出さないため、何か問題が起きるまで、それを表面化させるものは何もありません。プロアクティブな監査は、インシデントに駆られて行う監査よりはるかに安上がりです。金銭面でも、実際の侵害が失わせるであろう顧客の信頼の面でも。監査を行う適切なタイミングは、行う理由ができる前です。

SOC 2 のようなコンプライアンス要件はどうなりますか?

私たちが行った是正作業は、SOC 2 Type II に必要な技術的統制のおよそ70%をカバーしました。ロールベースのアクセスマトリクス、文書化された承認とログ記録のプロセス、本番に対する2名承認、環境分離、そしてCloudTrail監視は、監査人が最も注意深く精査するアクセス制御と変更管理の基準(CC6 と CC8)に直接対応します。残るのは主に、Type II が時間をかけて要求する運用有効性の証拠、すなわち監査期間を通じて積み上げる必要のある定期的なアクセスレビュー、再認証、承認記録です。会社が認証取得を目指すなら、最も難しいインフラ作業はすでに完了しており、残りは私たちが残したプロセスを、それが機能することを示すのに十分な期間にわたって運用することです。

チームを止めずにどのように監査を進めるのですか?

監査は通常の開発と並行して進みます。私たちが必要とするのは、AWSへの読み取り専用アクセスと、環境がどう構成されているかを把握するための上級エンジニア2名との約30分です。そこから先の作業は、ログ、ポリシー、構成の受動的な分析が中心で、いずれもデプロイを妨げません。監査が進行している間も、チームが出荷を止めることはありません。環境の分割や認証情報の再プロビジョニングなど、変更を伴う是正ステップは、チームと調整して低リスクの時間帯にロールアウトし、本番が終始安定した状態を保つようにします。

著者創業者・Imaginator

公開日