42 vulnerabilità e la chiave AWS di uno stagista

  • 42 vulnerabilità corrette
  • Produzione ripristinata in giornata
  • Controlli di accesso ricostruiti
  • 42 Vulnerabilità critiche risolte
  • <2 ore Tempo dal coinvolgimento di Pineido al ripristino della produzione
  • 8 Credenziali obsolete di ex dipendenti revocate

Cosa è cambiato

Vulnerabilità critiche risolte
42
Tempo dal coinvolgimento di Pineido al ripristino della produzione
<2 ore
Credenziali obsolete di ex dipendenti revocate
8
Bucket S3 esposti pubblicamente messi in sicurezza
6
Ambienti AWS separati creati
3
Incidenti di produzione da problemi di accesso dalla risoluzione
0

Con le loro parole

Che piatto di spaghetti con il sugo. Non avevamo idea di quanto fossimo esposti finché qualcuno non ci ha mostrato il quadro completo. Quell'audit probabilmente ci ha salvati da qualcosa di assai peggiore di un'interruzione di cinque ore.
TariqEngineering Manager, azienda tecnologica in crescita

La situazione

Un'azienda tecnologica in crescita, con 60 dipendenti e un prodotto al servizio di migliaia di utenti attivi giornalieri, ha subito un'improvvisa interruzione della produzione. L'applicazione è andata giù durante l'orario di lavoro e il traffico rivolto ai clienti ha iniziato a restituire errori nel giro di pochi minuti. Il team di ingegneria stava cercando di risolvere da oltre quattro ore senza esito. Nessuno era sicuro di cosa fosse cambiato, di chi avesse toccato cosa, né da dove cominciare a guardare. Hanno riavviato i servizi, annullato gli ultimi due deploy e passato al setaccio i log dell'applicazione, ma il guasto non corrispondeva ad alcun percorso di codice che qualcuno riuscisse a trovare. Il CEO ha chiamato Pineido dopo la quarta ora perché il team interno girava in tondo e il costo di ogni ulteriore ora di inattività continuava a salire. Il problema più profondo, che l'interruzione si è limitata a rivelare, era che l'azienda non aveva alcun modo di rispondere alla domanda più elementare di qualsiasi incidente: chi ha fatto cosa, e quando. Senza quella risposta, quattro ingegneri possono inseguire per ore lo strato sbagliato.

Cosa era davvero rotto

Il problema immediato era l'interruzione, ma il problema di fondo era assai peggiore. L'azienda era cresciuta da 8 a 25 ingegneri in diciotto mesi. Durante quella crescita, nessuno aveva mantenuto il sistema di controllo degli accessi. I ruoli AWS IAM erano stati creati alla rinfusa, di solito copiando una policy esistente che già funzionava anziché definirne una nuova su misura, così i permessi si accumulavano soltanto e non si riducevano mai. Ai nuovi assunti venivano concessi permessi ampi perché era più rapido che delimitarli per bene. Non è un fallimento insolito: nella pratica, la maggior parte dei ruoli IAM tende a scivolare verso l'eccesso di privilegi perché nessuno torna a sfoltirli, e a differenza di un bug di codice, un permesso eccessivo non produce alcun errore visibile che costringa ad affrontarlo. Collaboratori esterni andati via da mesi avevano ancora chiavi di accesso a lunga durata attive, esattamente quel tipo di credenziale permanente che AWS oggi raccomanda di eliminare a favore di un accesso federato di breve durata. Lo stagista entrato due settimane prima dell'interruzione aveva ricevuto lo stesso livello di accesso del CTO, perché lo script di onboarding non era stato aggiornato da quando l'azienda contava 8 persone.

L'interruzione stessa è stata causata dalla cancellazione accidentale di una tabella del database di produzione. Lo stagista stava sperimentando uno script di migrazione dati in quello che credeva fosse un ambiente di sviluppo. Non lo era. L'azienda non aveva alcun isolamento degli ambienti. Sviluppo, staging e produzione condividevano lo stesso account AWS con le stesse policy IAM, così l'unica cosa che separava uno script di test dai dati reali dei clienti era una stringa di connessione. Lo script dello stagista è stato eseguito sul database di produzione perché quella stringa di connessione puntava per impostazione predefinita alla produzione e nessuno aveva documentato la differenza. Nulla nella configurazione faceva apparire pericolosa l'azione pericolosa, ed è esattamente così che una singola pressione di tasto della persona più recente del team ha messo al tappeto un prodotto al servizio di migliaia di utenti.

Quando il team di ingegneria ha iniziato a cercare, non riusciva a determinare la causa radice perché non c'erano log di accesso configurati per il database. CloudTrail era abilitato, come lo è per impostazione predefinita, ma nessuno lo aveva mai aperto, così l'unico record che avrebbe chiuso l'indagine in pochi minuti restava intatto mentre quattro ingegneri cercavano dappertutto. Il team ha passato quattro ore a controllare il codice dell'applicazione, riavviare servizi e rivedere i log di deploy prima che Pineido suggerisse di controllare l'attività IAM. CloudTrail registra l'identità chiamante, l'IP di origine e il timestamp esatto per eventi di gestione come la cancellazione di una tabella, ed è proprio su questo che ruota un incidente del genere. Entro 30 minuti dall'esame di CloudTrail abbiamo individuato l'esatta chiamata API che aveva cancellato la tabella, confermato dall'identità chiamante che si trattava di un incidente e non di un'intrusione, e l'abbiamo ricondotta alle credenziali dello stagista. Il database è stato ripristinato da un backup che, per fortuna, aveva solo 90 minuti. L'interruzione è durata in totale circa cinque ore, e il fattore di gran lunga più determinante in quella cifra non è stata la cancellazione in sé, ma le ore passate a cercare la risposta nel posto sbagliato.

Passo dopo passo

Triage dell'incidente e identificazione della causa radice

Abbiamo iniziato dai log di CloudTrail e dai report di attività IAM anziché dal codice dell'applicazione, perché un'interruzione improvvisa senza una corrispondente modifica del codice è una questione di accesso e identità, non un bug di programmazione. Entro 30 minuti abbiamo trovato l'esatta chiamata API che aveva causato l'interruzione, letto l'identità chiamante direttamente dall'evento per escludere un account compromesso, e l'abbiamo ricondotta alle credenziali dello stagista. Il database di produzione è stato ripristinato dal backup automatico più recente, vecchio di soli 90 minuti, così la perdita di dati è stata trascurabile. Tempo totale dal nostro coinvolgimento al ripristino della produzione: meno di due ore, contro le quattro che il team interno aveva già speso a cercare nello strato sbagliato.

Audit completo di IAM e infrastruttura

Nei cinque giorni successivi abbiamo verificato ogni ruolo, policy e credenziale IAM dell'account AWS, usando i dati di ultimo accesso e la cronologia di CloudTrail per vedere quali permessi venissero effettivamente esercitati e non solo concessi. Abbiamo trovato 42 vulnerabilità critiche: 11 ruoli sovra-privilegiati con accesso di livello amministratore che avrebbero dovuto essere in sola lettura, 8 set di credenziali appartenenti a ex dipendenti e collaboratori esterni ancora attive, 6 bucket S3 con accesso pubblico in lettura contenenti dati dei clienti, 9 gruppi di sicurezza con regole in ingresso senza restrizioni, 5 funzioni Lambda con chiavi API codificate nelle variabili d'ambiente, e 3 istanze di database non cifrate. La maggior parte di queste non era nuova. Erano il residuo silenzioso di diciotto mesi di crescita, ciascuna difendibile singolarmente nel momento in cui era stata creata e, nell'insieme, una mappa di ogni modo in cui l'azienda avrebbe potuto essere compromessa senza che un'interruzione avesse mai forzato la questione.

Isolamento degli ambienti

Abbiamo creato account AWS separati per sviluppo, staging e produzione tramite AWS Organizations, così il confine tra uno script di test e i dati reali dei clienti è diventato un confine di account anziché una stringa in un file di configurazione. Ogni ambiente ha ricevuto le proprie policy IAM, la propria configurazione di rete e le proprie istanze di database. Le stringhe di connessione sono state spostate in AWS Secrets Manager con controlli di accesso specifici per ambiente, e a un ruolo di sviluppo non è stato dato alcun percorso per raggiungere un segreto di produzione. Lo scenario che aveva causato l'interruzione è diventato strutturalmente impossibile: uno script eseguito da un contesto di sviluppo non può più vedere, e tanto meno cancellare, una tabella di produzione, indipendentemente da chi lo esegue o da ciò che dice la stringa di connessione.

Implementazione della policy di accesso

Abbiamo costruito una matrice di controllo degli accessi basato sui ruoli che mappava ogni funzione lavorativa ai suoi permessi minimi necessari, così che l'accesso potesse sempre essere ricondotto a una ragione di business documentata e non a una qualsiasi policy che qualcuno aveva copiato per caso. Ogni dipendente è stato riprovisionato da zero secondo quella matrice con credenziali delimitate, in sola lettura per impostazione predefinita ed elevate solo dove il ruolo lo richiedeva davvero. È stato introdotto un processo formale di richiesta di accesso: ogni modifica dei permessi richiedeva l'approvazione del responsabile ed era registrata in un registro centrale, fornendo una traccia di audit pulita di chi aveva approvato cosa e perché. L'accesso alla produzione richiedeva l'approvazione di due persone, una deliberata separazione dei compiti affinché nessuna singola persona, junior o senior, potesse effettuare da sola una modifica irreversibile. Allo stagista è stato assegnato un ruolo riservato allo sviluppo, senza alcuna visibilità sulla produzione.

Monitoraggio e avvisi

Abbiamo configurato l'analisi dei log di CloudTrail con avvisi automatici per chiamate API ad alto rischio (cancellazioni di tabelle, modifiche alle policy IAM, modifiche ai gruppi di sicurezza e qualsiasi tentativo di arrestare o cancellare la registrazione stessa, poiché manomettere la traccia di audit è il segnale più chiaro che un incidente è doloso e non accidentale). È stata predisposta una scansione automatica settimanale per individuare nuovi ruoli sovra-privilegiati o risorse esposte pubblicamente prima che potessero scivolare di nuovo nello stesso schema di accumulo che aveva prodotto i 42 rilievi originali. Il team di ingegneria ha ricevuto un runbook per la risposta agli incidenti che parte da dove questo incidente avrebbe dovuto partire: estrarre prima identità e timestamp da CloudTrail, così che la prossima interruzione, se si verifica, segua un percorso d'indagine strutturato anziché quattro ore di congetture.

42 Vulnerabilità critiche risolte

Contattaci

Raccontaci cosa vuoi costruire. Ti diciamo da dove partire e cosa serve.

Le domande che decidono se siamo adatti

Quanto dura un audit di sicurezza completo?

L'audit iniziale ha richiesto cinque giorni lavorativi, coprendo ogni ruolo, policy e credenziale IAM, ogni bucket S3, gruppo di sicurezza e istanza di database dell'account. La risoluzione di tutte le 42 vulnerabilità ha richiesto altre due settimane, sequenziata in modo che le esposizioni a maggiore impatto (i bucket di dati dei clienti leggibili pubblicamente e le credenziali ancora attive di ex dipendenti) venissero chiuse nei primi giorni, non negli ultimi. L'ingaggio totale è durato tre settimane, dall'incidente a un'infrastruttura completamente irrobustita. L'ambito varia in base a quanto disordine si è accumulato, ma per un'azienda di queste dimensioni e con questa storia di crescita, tre settimane sono la norma.

Dovremmo fare un audit di sicurezza se non abbiamo avuto un incidente?

Sì. La maggior parte delle vulnerabilità che abbiamo trovato esisteva da oltre un anno. L'interruzione è stata l'innesco, ma l'esposizione la precedeva ampiamente: i bucket S3 pubblici e le credenziali attive di persone che avevano già lasciato l'azienda aspettavano in silenzio chiunque si fosse preso la briga di guardare. È questa la natura del rischio legato al controllo degli accessi. Non produce alcun messaggio di errore né alcun deploy fallito, così nulla lo porta in superficie finché qualcosa non va storto. Un audit proattivo è assai meno costoso di uno innescato da un incidente, sia in denaro sia nella fiducia dei clienti che una vera violazione costerebbe. Il momento giusto per condurlo è prima di avere un motivo per farlo.

E i requisiti di conformità come SOC 2?

Il lavoro di risoluzione che abbiamo svolto copriva circa il 70% dei controlli tecnici richiesti per SOC 2 Type II. La matrice di accesso basato sui ruoli, il processo documentato di approvazione e registrazione, le approvazioni di produzione a due persone, l'isolamento degli ambienti e il monitoraggio di CloudTrail corrispondono direttamente ai criteri di controllo degli accessi e di gestione delle modifiche che gli auditor esaminano con maggiore attenzione (CC6 e CC8). Ciò che resta è soprattutto la prova di efficacia operativa che il Type II richiede nel tempo: le revisioni periodiche degli accessi, le ricertificazioni e i registri di approvazione che devono accumularsi nell'arco della finestra di audit. Se l'azienda punta alla certificazione, il lavoro infrastrutturale più difficile è già fatto, e il resto consiste nel far funzionare il processo che abbiamo lasciato abbastanza a lungo da dimostrare che opera.

Come conducete l'audit senza disturbare il team?

L'audit procede in parallelo con il normale sviluppo. Ci servono un accesso in sola lettura ad AWS e circa 30 minuti con due ingegneri senior per capire come è cablato l'ambiente. Da lì in poi il lavoro consiste in gran parte in un'analisi passiva di log, policy e configurazione, nessuna delle quali interrompe un deploy. Il team non smette di rilasciare mentre l'audit è in corso. I passi di risoluzione che richiedono davvero una modifica, come separare gli ambienti o riprovisionare le credenziali, vengono pianificati con il team e distribuiti in finestre a basso rischio affinché la produzione resti stabile per tutto il tempo.

DiFondatore e Imaginator

Pubblicato