42 vulnérabilités et la clé AWS d'un stagiaire
- 42 vulnérabilités corrigées
- Production rétablie le jour même
- Contrôles d'accès refondus
- 42 Vulnérabilités critiques corrigées
- <2 h Délai entre l'intervention de Pineido et la restauration de la production
- 8 Identifiants obsolètes d'anciens employés révoqués
Ce qui a changé
- Vulnérabilités critiques corrigées
- 42
- Délai entre l'intervention de Pineido et la restauration de la production
- <2 h
- Identifiants obsolètes d'anciens employés révoqués
- 8
- Buckets S3 exposés publiquement sécurisés
- 6
- Environnements AWS distincts créés
- 3
- Incidents de production liés aux accès depuis la remédiation
- 0
Avec leurs mots
Quel plat de spaghettis à la sauce. Nous n'avions aucune idée de notre niveau d'exposition jusqu'à ce que quelqu'un nous montre le tableau complet. Cet audit nous a probablement épargné quelque chose de bien pire qu'une panne de cinq heures.
La situation
Une entreprise technologique en croissance, comptant 60 employés et un produit servant des milliers d'utilisateurs actifs quotidiens, a connu une panne de production soudaine. L'application est tombée en pleine journée de travail, et le trafic côté client a commencé à renvoyer des erreurs en quelques minutes. L'équipe d'ingénierie cherchait depuis plus de quatre heures sans résultat. Personne n'était sûr de ce qui avait changé, de qui avait touché quoi, ni par où commencer à regarder. Ils ont redémarré des services, annulé les deux derniers déploiements et passé au peigne fin les journaux applicatifs, mais la panne ne correspondait à aucun chemin de code que quiconque pouvait trouver. Le PDG a appelé Pineido après la quatrième heure parce que l'équipe interne tournait en rond et que le coût de chaque heure d'indisponibilité supplémentaire grimpait. Le problème de fond, que la panne n'a fait que révéler, était que l'entreprise n'avait aucun moyen de répondre à la question la plus élémentaire de tout incident : qui a fait quoi, et quand. Sans cette réponse, quatre ingénieurs peuvent passer des heures à fouiller la mauvaise couche.
Ce qui était vraiment cassé
Le problème immédiat était la panne, mais le problème sous-jacent était bien pire. L'entreprise était passée de 8 ingénieurs à 25 en dix-huit mois. Pendant cette croissance, personne n'avait entretenu le système de contrôle d'accès. Les rôles AWS IAM avaient été créés au coup par coup, le plus souvent en copiant une politique existante qui fonctionnait déjà plutôt qu'en en cadrant une nouvelle, de sorte que les permissions ne faisaient que s'accumuler sans jamais se réduire. On accordait aux nouvelles recrues des permissions larges parce que c'était plus rapide que de les cadrer correctement. Ce n'est pas un échec inhabituel : en pratique, la plupart des rôles IAM dérivent vers le surprivilège parce que personne ne revient les élaguer, et contrairement à un bug de code, une permission excessive ne produit aucune erreur visible qui forcerait à s'en occuper. Des prestataires partis depuis des mois avaient encore des clés d'accès à longue durée de vie actives, exactement le type d'identifiant permanent dont AWS recommande désormais l'élimination au profit d'un accès fédéré de courte durée. Le stagiaire arrivé deux semaines avant la panne s'était vu attribuer le même niveau d'accès que le CTO, parce que le script d'intégration n'avait pas été mis à jour depuis l'époque où l'entreprise comptait 8 personnes.
La panne elle-même a été causée par la suppression accidentelle d'une table de base de données de production. Le stagiaire expérimentait un script de migration de données dans ce qu'il croyait être un environnement de développement. Ce n'en était pas un. L'entreprise n'avait aucune isolation des environnements. Le développement, la préproduction et la production partageaient le même compte AWS avec les mêmes politiques IAM, de sorte que la seule chose qui séparait un script de test des vraies données clients était une chaîne de connexion. Le script du stagiaire s'est exécuté sur la base de données de production parce que cette chaîne de connexion pointait par défaut vers la production et que personne n'avait documenté la différence. Rien dans cette configuration ne faisait paraître dangereuse l'action dangereuse, et c'est précisément ainsi qu'une seule frappe au clavier de la personne la plus récente de l'équipe a mis à terre un produit servant des milliers d'utilisateurs.
Lorsque l'équipe d'ingénierie a commencé à chercher, elle ne pouvait pas déterminer la cause racine parce qu'aucun journal d'accès n'était configuré pour la base de données. CloudTrail était activé, comme il l'est par défaut, mais personne ne l'avait jamais ouvert, si bien que le seul enregistrement qui aurait mis fin à l'enquête en quelques minutes restait intact pendant que quatre ingénieurs cherchaient partout ailleurs. L'équipe a passé quatre heures à vérifier le code applicatif, à redémarrer des services et à examiner les journaux de déploiement avant que Pineido ne suggère de vérifier l'activité IAM. CloudTrail enregistre l'identité appelante, l'adresse IP source et l'horodatage exact des événements de gestion comme la suppression d'une table, ce dont dépend justement un incident de ce genre. En 30 minutes d'examen de CloudTrail, nous avons identifié l'appel d'API exact qui avait supprimé la table, confirmé d'après l'identité appelante qu'il s'agissait d'un accident et non d'une intrusion, et l'avons remonté jusqu'aux identifiants du stagiaire. La base de données a été restaurée à partir d'une sauvegarde qui, heureusement, n'avait que 90 minutes. La panne a duré au total environ cinq heures, et le facteur de loin le plus déterminant dans ce chiffre n'était pas la suppression elle-même, mais les heures passées à chercher la réponse au mauvais endroit.
Étape par étape
Tri de l'incident et identification de la cause racine
Nous avons commencé par les journaux CloudTrail et les rapports d'activité IAM plutôt que par le code applicatif, car une panne soudaine sans changement de code correspondant est une question d'accès et d'identité, pas un bug de programmation. En 30 minutes, nous avons trouvé l'appel d'API exact à l'origine de la panne, lu l'identité appelante directement dans l'événement pour écarter un compte compromis, et l'avons remonté jusqu'aux identifiants du stagiaire. La base de données de production a été restaurée à partir de la sauvegarde automatique la plus récente, vieille de seulement 90 minutes, si bien que la perte de données fut négligeable. Temps total entre notre intervention et la restauration de la production : moins de deux heures, contre les quatre que l'équipe interne avait déjà passées à chercher dans la mauvaise couche.
Audit complet d'IAM et de l'infrastructure
Au cours des cinq jours suivants, nous avons audité chaque rôle, politique et identifiant IAM du compte AWS, en utilisant les données de dernier accès et l'historique CloudTrail pour voir quelles permissions étaient réellement exercées et pas seulement accordées. Nous avons trouvé 42 vulnérabilités critiques : 11 rôles surprivilégiés avec un accès de niveau administrateur qui auraient dû être en lecture seule, 8 jeux d'identifiants appartenant à d'anciens employés et prestataires encore actifs, 6 buckets S3 en accès public en lecture contenant des données clients, 9 groupes de sécurité avec des règles entrantes sans restriction, 5 fonctions Lambda avec des clés d'API codées en dur dans des variables d'environnement, et 3 instances de base de données non chiffrées. La plupart n'étaient pas récentes. Elles étaient le résidu silencieux de dix-huit mois de croissance, chacune défendable individuellement au moment de sa création, et collectivement une carte de toutes les façons dont l'entreprise aurait pu être compromise sans qu'une panne n'ait jamais forcé la question.
Isolation des environnements
Nous avons créé des comptes AWS distincts pour le développement, la préproduction et la production à l'aide d'AWS Organizations, de sorte que la frontière entre un script de test et de vraies données clients est devenue une frontière de compte plutôt qu'une chaîne dans un fichier de configuration. Chaque environnement a reçu ses propres politiques IAM, sa propre configuration réseau et ses propres instances de base de données. Les chaînes de connexion ont été déplacées vers AWS Secrets Manager avec des contrôles d'accès spécifiques à chaque environnement, et un rôle de développement n'a reçu aucun chemin pour atteindre un secret de production. Le scénario à l'origine de la panne est devenu structurellement impossible : un script exécuté depuis un contexte de développement ne peut plus voir, et encore moins supprimer, une table de production, quel que soit celui qui l'exécute ou ce que dit la chaîne de connexion.
Mise en œuvre de la politique d'accès
Nous avons construit une matrice de contrôle d'accès basé sur les rôles qui associait chaque fonction métier à ses permissions minimales requises, afin que tout accès puisse toujours se rattacher à une raison métier documentée et non à une politique que quelqu'un avait copiée par hasard. Chaque employé a été reprovisionné à partir de zéro selon cette matrice avec des identifiants cadrés, en lecture seule par défaut et avec une élévation uniquement là où le rôle l'exigeait réellement. Un processus formel de demande d'accès a été instauré : tout changement de permission nécessitait l'approbation du responsable et était consigné dans un registre central, fournissant une piste d'audit claire de qui avait approuvé quoi et pourquoi. L'accès à la production exigeait l'approbation de deux personnes, une séparation des tâches délibérée afin qu'aucune personne seule, junior ou senior, ne puisse effectuer un changement irréversible. Le stagiaire s'est vu attribuer un rôle réservé au développement, sans aucune visibilité sur la production.
Surveillance et alertes
Nous avons configuré une analyse des journaux CloudTrail avec des alertes automatiques pour les appels d'API à haut risque (suppressions de tables, changements de politiques IAM, modifications de groupes de sécurité, et toute tentative d'arrêter ou de supprimer la journalisation elle-même, car altérer la piste d'audit est le signal le plus clair qu'un incident est malveillant et non accidentel). Une analyse automatique hebdomadaire a été mise en place pour détecter les nouveaux rôles surprivilégiés ou les ressources exposées au public avant qu'ils ne dérivent à nouveau vers le même schéma d'accumulation qui avait produit les 42 constats initiaux. L'équipe d'ingénierie a reçu un guide de réponse aux incidents qui commence là où cet incident aurait dû commencer : extraire d'abord l'identité et l'horodatage de CloudTrail, afin que la prochaine panne, si elle survient, suive un chemin d'investigation structuré plutôt que quatre heures de tâtonnements.
42 Vulnérabilités critiques corrigées
Contactez-nous
Dites-nous ce que vous voulez construire. Nous vous disons par où commencer et ce qu’il faut.
Les questions qui décident si nous vous convenons
Combien de temps prend un audit de sécurité complet ?
L'audit initial a pris cinq jours ouvrés, couvrant chaque rôle, politique et identifiant IAM, chaque bucket S3, groupe de sécurité et instance de base de données du compte. La remédiation des 42 vulnérabilités a pris deux semaines supplémentaires, séquencée de manière que les expositions à plus fort impact (les buckets de données clients lisibles publiquement et les identifiants encore actifs d'anciens employés) soient fermées dans les premiers jours, pas les derniers. L'engagement total a duré trois semaines, de l'incident à une infrastructure entièrement renforcée. Le périmètre varie selon l'ampleur du désordre accumulé, mais pour une entreprise de cette taille et avec cet historique de croissance, trois semaines est la norme.
Devrions-nous faire un audit de sécurité si nous n'avons pas eu d'incident ?
Oui. La plupart des vulnérabilités que nous avons trouvées existaient depuis plus d'un an. La panne a été le déclencheur, mais l'exposition la précédait largement : les buckets S3 publics et les identifiants actifs de personnes ayant déjà quitté l'entreprise attendaient en silence quiconque prendrait la peine de regarder. C'est la nature du risque lié au contrôle d'accès. Il ne produit aucun message d'erreur ni aucun déploiement échoué, si bien que rien ne le fait remonter à la surface jusqu'à ce que quelque chose tourne mal. Un audit proactif est bien moins coûteux qu'un audit déclenché par un incident, tant en argent qu'en confiance des clients qu'une véritable violation coûterait. Le bon moment pour le mener est avant d'avoir une raison de le faire.
Qu'en est-il des exigences de conformité comme SOC 2 ?
Le travail de remédiation que nous avons réalisé couvrait environ 70 % des contrôles techniques requis pour SOC 2 Type II. La matrice d'accès basé sur les rôles, le processus documenté d'approbation et de journalisation, les approbations de production à deux personnes, l'isolation des environnements et la surveillance CloudTrail correspondent directement aux critères de contrôle d'accès et de gestion des changements que les auditeurs examinent le plus attentivement (CC6 et CC8). Ce qui reste, c'est surtout la preuve d'efficacité opérationnelle que le Type II exige dans la durée : les revues d'accès récurrentes, les recertifications et les enregistrements d'approbation qui doivent s'accumuler tout au long de la fenêtre d'audit. Si l'entreprise vise la certification, le travail d'infrastructure le plus difficile est déjà fait, et le reste consiste à faire tourner le processus que nous avons laissé assez longtemps pour démontrer qu'il fonctionne.
Comment menez-vous l'audit sans perturber l'équipe ?
L'audit se déroule en parallèle du développement normal. Nous avons besoin d'un accès en lecture seule à AWS et d'environ 30 minutes avec deux ingénieurs seniors pour comprendre comment l'environnement est câblé. À partir de là, le travail consiste essentiellement en une analyse passive des journaux, des politiques et de la configuration, dont rien n'interrompt un déploiement. L'équipe ne cesse pas de livrer pendant que l'audit est en cours. Les étapes de remédiation qui nécessitent réellement un changement, comme la séparation des environnements ou le reprovisionnement des identifiants, sont planifiées avec l'équipe et déployées dans des fenêtres à faible risque afin que la production reste stable tout du long.
ParKostadin StambolievFondateur et Imaginator
Publié