42 Schwachstellen und der AWS-Schlüssel eines Praktikanten

  • 42 Schwachstellen behoben
  • Produktion am selben Tag wiederhergestellt
  • Zugriffskontrollen neu aufgebaut
  • 42 Behobene kritische Schwachstellen
  • <2 Std. Zeit von Pineidos Einbindung bis zur Produktionswiederherstellung
  • 8 Widerrufene veraltete Anmeldedaten ehemaliger Mitarbeitender

Was sich geändert hat

Behobene kritische Schwachstellen
42
Zeit von Pineidos Einbindung bis zur Produktionswiederherstellung
<2 Std.
Widerrufene veraltete Anmeldedaten ehemaliger Mitarbeitender
8
Abgesicherte öffentlich exponierte S3-Buckets
6
Erstellte getrennte AWS-Umgebungen
3
Produktionsvorfälle durch Zugriffsprobleme seit der Behebung
0

In ihren Worten

Was für ein Berg Spaghetti mit Soße. Wir hatten keine Ahnung, wie exponiert wir waren, bis uns jemand das ganze Bild zeigte. Dieses Audit hat uns wahrscheinlich vor etwas weit Schlimmerem als einem fünfstündigen Ausfall bewahrt.
TariqEngineering Manager, wachsendes Technologieunternehmen

Die Ausgangslage

Ein wachsendes Technologieunternehmen mit 60 Mitarbeitenden und einem Produkt, das Tausende täglich aktive Nutzer bediente, erlebte einen plötzlichen Produktionsausfall. Die Anwendung fiel während der Geschäftszeiten aus, und der kundenseitige Traffic begann innerhalb von Minuten, Fehler auszugeben. Das Engineering-Team hatte bereits über vier Stunden ohne Ergebnis gesucht. Niemand war sicher, was sich geändert hatte, wer was angefasst hatte oder wo man überhaupt anfangen sollte. Sie starteten Dienste neu, rollten die letzten zwei Deployments zurück und durchforsteten die Anwendungslogs, doch der Fehler passte zu keinem Codepfad, den irgendjemand finden konnte. Der CEO rief Pineido nach der vierten Stunde an, weil sich das interne Team im Kreis drehte und die Kosten jeder weiteren Ausfallstunde stiegen. Das tieferliegende Problem, das der Ausfall lediglich offenlegte, war, dass das Unternehmen keine Möglichkeit hatte, die grundlegendste Frage eines jeden Vorfalls zu beantworten: wer hat was getan, und wann. Ohne diese Antwort können vier Ingenieure stundenlang die falsche Ebene durchsuchen.

Was wirklich kaputt war

Das unmittelbare Problem war der Ausfall, doch das zugrunde liegende Problem war weit schlimmer. Das Unternehmen war in achtzehn Monaten von 8 auf 25 Ingenieure gewachsen. Während dieses Wachstums hatte niemand das Zugriffskontrollsystem gepflegt. AWS-IAM-Rollen waren ad hoc erstellt worden, meist indem man eine bestehende Richtlinie kopierte, die bereits funktionierte, statt eine neue passgenau zuzuschneiden, sodass Berechtigungen sich nur ansammelten und nie schrumpften. Neue Mitarbeitende erhielten weitreichende Berechtigungen, weil das schneller ging, als sie sauber einzugrenzen. Das ist kein ungewöhnliches Versäumnis: In der Praxis driften die meisten IAM-Rollen ins Überprivilegierte ab, weil niemand zurückkehrt, um sie zu beschneiden, und anders als ein Codefehler erzeugt eine überzogene Berechtigung keinen sichtbaren Fehler, der das Thema erzwingt. Auftragnehmer, die schon vor Monaten gegangen waren, hatten noch aktive, langlebige Zugriffsschlüssel, genau jene Art von dauerhaften Anmeldedaten, deren Abschaffung AWS heute zugunsten von kurzlebigem, föderiertem Zugriff empfiehlt. Der Praktikant, der zwei Wochen vor dem Ausfall begonnen hatte, war mit derselben Zugriffsebene wie der CTO ausgestattet worden, weil das Onboarding-Skript seit der Zeit, als das Unternehmen 8 Personen zählte, nicht aktualisiert worden war.

Der Ausfall selbst wurde durch das versehentliche Löschen einer Produktionsdatenbank-Tabelle verursacht. Der Praktikant hatte mit einem Datenmigrations-Skript in dem experimentiert, was er für eine Entwicklungsumgebung hielt. Das war es nicht. Das Unternehmen hatte keine Umgebungstrennung. Entwicklung, Staging und Produktion teilten sich dasselbe AWS-Konto mit denselben IAM-Richtlinien, sodass das Einzige, was zwischen einem Testskript und echten Kundendaten stand, ein Connection-String war. Das Skript des Praktikanten lief gegen die Produktionsdatenbank, weil dieser Connection-String standardmäßig auf Produktion zeigte und niemand den Unterschied dokumentiert hatte. Nichts an dem Aufbau ließ die gefährliche Handlung gefährlich erscheinen, und genau so brachte ein einziger Tastendruck der neuesten Person im Team ein Produkt zu Fall, das Tausende von Nutzern bediente.

Als das Engineering-Team mit der Fehlersuche begann, konnte es die Grundursache nicht bestimmen, weil für die Datenbank keine Zugriffsprotokolle konfiguriert waren. CloudTrail war aktiviert, wie es standardmäßig der Fall ist, doch niemand hatte es je geöffnet, sodass der eine Datensatz, der die Untersuchung in Minuten beendet hätte, unberührt liegen blieb, während vier Ingenieure überall sonst suchten. Das Team verbrachte vier Stunden mit dem Prüfen von Anwendungscode, dem Neustarten von Diensten und dem Durchsehen von Deployment-Logs, bevor Pineido vorschlug, die IAM-Aktivität zu prüfen. CloudTrail protokolliert die aufrufende Identität, die Quell-IP und den exakten Zeitstempel für Management-Ereignisse wie das Löschen einer Tabelle, und genau darauf kommt es bei einem solchen Vorfall an. Innerhalb von 30 Minuten nach Sichtung von CloudTrail hatten wir den exakten API-Aufruf identifiziert, der die Tabelle gelöscht hatte, anhand der aufrufenden Identität bestätigt, dass es ein Versehen und kein Eindringen war, und ihn bis zu den Anmeldedaten des Praktikanten zurückverfolgt. Die Datenbank wurde aus einem Backup wiederhergestellt, das glücklicherweise nur 90 Minuten alt war. Der Ausfall betrug insgesamt etwa fünf Stunden, und der mit Abstand größte Anteil an dieser Zahl war nicht das Löschen selbst, sondern die Stunden, die man damit verbracht hatte, die Antwort am falschen Ort zu suchen.

Schritt für Schritt

Vorfall-Triage und Grundursachen-Identifikation

Wir begannen mit CloudTrail-Logs und IAM-Aktivitätsberichten statt mit Anwendungscode, denn ein plötzlicher Ausfall ohne passende Codeänderung ist eine Frage von Zugriff und Identität, kein Programmierfehler. Innerhalb von 30 Minuten fanden wir den exakten API-Aufruf, der den Ausfall verursacht hatte, lasen die aufrufende Identität direkt aus dem Ereignis, um ein kompromittiertes Konto auszuschließen, und verfolgten ihn bis zu den Anmeldedaten des Praktikanten zurück. Die Produktionsdatenbank wurde aus dem jüngsten automatischen Backup wiederhergestellt, das nur 90 Minuten alt war, sodass der Datenverlust vernachlässigbar blieb. Gesamtzeit von unserem Einstieg bis zur Wiederherstellung der Produktion: unter zwei Stunden, gegenüber den vier, die das interne Team bereits mit der Suche auf der falschen Ebene verbracht hatte.

Vollständiges IAM- und Infrastruktur-Audit

In den folgenden fünf Tagen prüften wir jede IAM-Rolle, Richtlinie und jedes Anmeldedatum im AWS-Konto und nutzten Last-Accessed-Daten sowie den CloudTrail-Verlauf, um zu sehen, welche Berechtigungen tatsächlich genutzt und nicht nur erteilt wurden. Wir fanden 42 kritische Schwachstellen: 11 überprivilegierte Rollen mit Admin-Zugriff, die hätten schreibgeschützt sein sollen, 8 Sätze von Anmeldedaten ehemaliger Mitarbeitender und Auftragnehmer, die noch aktiv waren, 6 S3-Buckets mit öffentlichem Lesezugriff, die Kundendaten enthielten, 9 Sicherheitsgruppen mit uneingeschränkten Eingangsregeln, 5 Lambda-Funktionen mit fest codierten API-Schlüsseln in Umgebungsvariablen und 3 unverschlüsselte Datenbankinstanzen. Die meisten davon waren nicht neu. Sie waren der stille Rückstand von achtzehn Monaten Wachstum, jede einzelne im Moment ihrer Entstehung für sich genommen vertretbar und in der Summe eine Karte jedes Weges, auf dem das Unternehmen hätte kompromittiert werden können, ohne dass ein Ausfall die Frage je erzwungen hätte.

Umgebungstrennung

Wir richteten über AWS Organizations getrennte AWS-Konten für Entwicklung, Staging und Produktion ein, sodass die Grenze zwischen einem Testskript und echten Kundendaten zu einer Kontogrenze wurde statt zu einer Zeichenkette in einer Konfigurationsdatei. Jede Umgebung erhielt eigene IAM-Richtlinien, eine eigene Netzwerkkonfiguration und eigene Datenbankinstanzen. Connection-Strings wurden in den AWS Secrets Manager mit umgebungsspezifischen Zugriffskontrollen verlagert, und einer Entwicklungsrolle wurde überhaupt kein Pfad gegeben, um an ein Produktionsgeheimnis zu gelangen. Das Szenario, das den Ausfall verursacht hatte, wurde strukturell unmöglich: Ein aus einem Entwicklungskontext ausgeführtes Skript kann eine Produktionstabelle nicht mehr sehen, geschweige denn löschen, unabhängig davon, wer es ausführt oder was im Connection-String steht.

Umsetzung der Zugriffsrichtlinie

Wir bauten eine rollenbasierte Zugriffskontrollmatrix auf, die jede Arbeitsfunktion auf ihre minimal erforderlichen Berechtigungen abbildete, sodass Zugriff sich stets auf einen dokumentierten geschäftlichen Grund zurückführen ließ und nicht auf irgendeine Richtlinie, die jemand zufällig kopiert hatte. Jeder Mitarbeitende wurde anhand dieser Matrix von Grund auf mit eingegrenzten Anmeldedaten neu bereitgestellt, standardmäßig schreibgeschützt und nur dort erweitert, wo die Rolle es wirklich erforderte. Ein formaler Zugriffsantragsprozess wurde eingeführt: Jede Berechtigungsänderung erforderte die Freigabe der Führungskraft und wurde in einem zentralen Register protokolliert, was eine saubere Prüfspur darüber ergab, wer was warum freigegeben hatte. Produktionszugriff erforderte die Freigabe durch zwei Personen, eine bewusste Funktionstrennung, damit keine einzelne Person, ob Junior oder Senior, eine unumkehrbare Änderung allein durchführen konnte. Der Praktikant erhielt eine reine Entwicklungsrolle ohne Einblick in die Produktion.

Überwachung und Alarmierung

Wir konfigurierten eine CloudTrail-Log-Analyse mit automatischen Alarmen für risikoreiche API-Aufrufe (Tabellenlöschungen, IAM-Richtlinienänderungen, Änderungen an Sicherheitsgruppen sowie jeden Versuch, das Logging selbst zu stoppen oder zu löschen, da das Manipulieren der Prüfspur das deutlichste Anzeichen dafür ist, dass ein Vorfall böswillig und nicht versehentlich ist). Ein wöchentlicher automatischer Scan wurde eingerichtet, um neue überprivilegierte Rollen oder öffentlich erreichbare Ressourcen zu erkennen, bevor sie wieder in dasselbe Anhäufungsmuster abdriften konnten, das die ursprünglichen 42 Befunde hervorgebracht hatte. Das Engineering-Team erhielt ein Runbook für die Vorfallreaktion, das dort beginnt, wo dieser Vorfall hätte beginnen sollen: zuerst Identität und Zeitstempel aus CloudTrail ziehen, damit der nächste Ausfall, falls er eintritt, einem strukturierten Untersuchungspfad folgt statt vier Stunden des Ratens.

42 Behobene kritische Schwachstellen

Kontakt aufnehmen

Erzählen Sie uns, was Sie bauen möchten. Wir sagen Ihnen, womit man anfängt und was es braucht.

Die Fragen, die entscheiden, ob wir zu Ihnen passen

Wie lange dauert ein vollständiges Sicherheitsaudit?

Das anfängliche Audit dauerte fünf Arbeitstage und deckte jede IAM-Rolle, jede Richtlinie, jedes Anmeldedatum, jeden S3-Bucket, jede Sicherheitsgruppe und jede Datenbankinstanz im Konto ab. Die Behebung aller 42 Schwachstellen dauerte weitere zwei Wochen, so abgestuft, dass die Expositionen mit der größten Wirkung (die öffentlich lesbaren Kundendaten-Buckets und die noch aktiven Anmeldedaten ehemaliger Mitarbeitender) in den ersten Tagen geschlossen wurden, nicht in den letzten. Das gesamte Engagement umfasste drei Wochen, vom Vorfall bis zur vollständig gehärteten Infrastruktur. Der Umfang skaliert mit dem angesammelten Wildwuchs, doch für ein Unternehmen dieser Größe und Wachstumsgeschichte sind drei Wochen typisch.

Sollten wir ein Sicherheitsaudit durchführen, wenn wir keinen Vorfall hatten?

Ja. Die meisten der von uns gefundenen Schwachstellen bestanden seit über einem Jahr. Der Ausfall war der Auslöser, doch die Exposition lag deutlich davor: Die öffentlichen S3-Buckets und die aktiven Anmeldedaten von Personen, die das Unternehmen längst verlassen hatten, warteten still auf jeden, der zufällig hinsah. Das ist die Natur des Zugriffskontrollrisikos. Es erzeugt keine Fehlermeldung und kein fehlgeschlagenes Deployment, sodass nichts es an die Oberfläche zwingt, bis etwas schiefgeht. Ein proaktives Audit ist weit günstiger als ein durch einen Vorfall ausgelöstes, sowohl in Euro als auch im Kundenvertrauen, das eine echte Verletzung kosten würde. Der richtige Zeitpunkt dafür ist, bevor man einen Anlass hat.

Was ist mit Compliance-Anforderungen wie SOC 2?

Die von uns durchgeführte Behebungsarbeit deckte rund 70% der für SOC 2 Type II erforderlichen technischen Kontrollen ab. Die rollenbasierte Zugriffsmatrix, der dokumentierte Freigabe- und Protokollierungsprozess, die Produktionsfreigaben durch zwei Personen, die Umgebungstrennung und die CloudTrail-Überwachung lassen sich direkt auf die Zugriffskontroll- und Änderungsmanagement-Kriterien abbilden, die Prüfer am genauesten untersuchen (CC6 und CC8). Was bleibt, ist überwiegend der Nachweis der Betriebswirksamkeit, den Type II über die Zeit verlangt: die wiederkehrenden Zugriffsüberprüfungen, Rezertifizierungen und Freigabeaufzeichnungen, die sich über das Prüffenster ansammeln müssen. Strebt das Unternehmen eine Zertifizierung an, ist die schwerste Infrastrukturarbeit bereits getan, und der Rest besteht darin, den von uns hinterlassenen Prozess lange genug zu betreiben, um zu zeigen, dass er funktioniert.

Wie führen Sie das Audit durch, ohne das Team zu stören?

Das Audit läuft parallel zur normalen Entwicklung. Wir benötigen schreibgeschützten Zugriff auf AWS und etwa 30 Minuten mit zwei erfahrenen Ingenieuren, um zu verstehen, wie die Umgebung aufgebaut ist. Von dort an besteht die Arbeit größtenteils aus passiver Analyse von Logs, Richtlinien und Konfiguration, von der nichts ein Deployment unterbricht. Das Team hört nicht auf zu liefern, während das Audit läuft. Behebungsschritte, die tatsächlich Änderungen erfordern, etwa das Trennen von Umgebungen oder das Neubereitstellen von Anmeldedaten, werden mit dem Team abgestimmt und in risikoarmen Zeitfenstern ausgerollt, damit die Produktion durchgehend stabil bleibt.

VonGründer und Imaginator

Veröffentlicht