42 пропусти и AWS клучот на еден практикант

  • 42 пропусти поправени
  • Продукцијата вратена истиот ден
  • Контролите на пристап изградени одново
  • 42 Критични пропусти поправени
  • <2 часа Од вклучувањето на Pineido до враќање на продукцијата
  • 8 Стари акредитиви на поранешни вработени, укинати

Што се промени

Критични пропусти поправени
42
Од вклучувањето на Pineido до враќање на продукцијата
<2 часа
Стари акредитиви на поранешни вработени, укинати
8
Јавно изложени S3 корпи, обезбедени
6
Создадени посебни AWS околини
3
Инциденти во продукција поради пристап од поправката наваму
0

Со нивни зборови

Какви шпагети со сос. Немавме поим колку сме изложени додека некој не ни ја покажа целата слика. Таа ревизија веројатно не спаси од нешто многу полошо од пад од пет часа.
ТарикИнженерски менаџер, технолошка компанија во раст

Ситуацијата

Технолошка компанија во раст, со 60 вработени и производ што секој ден го користат илјадници активни корисници, доживеа ненадеен пад на продукцијата. Апликацијата падна во работно време, а за неколку минути посетите на клиентите почнаа да враќаат грешки. Инженерскиот тим веќе четири часа бараше причина, без решение. Никој не беше сигурен што се променило, кој што допрел или каде да почне. Рестартираа услуги, ги вратија последните две објавувања и ги пребараа записите на апликацијата, но грешката не одговараше на ниту еден дел од кодот што некој можеше да го најде. Извршниот директор го повика Pineido по четвртиот час, бидејќи внатрешниот тим се вртеше во круг, а цената на секој дополнителен час прекин растеше. Подлабокиот проблем, што падот само го откри, беше дека компанијата немаше начин да одговори на најосновното прашање при инцидент: кој што направил и кога. Без тој одговор, четири инженери можат со часови да бараат во погрешниот слој.

Што всушност беше скршено

Непосредниот проблем беше падот, но основниот проблем беше многу полош. Компанијата за осумнаесет месеци порасна од 8 на 25 инженери. Во тој раст никој не го одржуваше системот за контрола на пристап. AWS IAM улогите се создаваа ad hoc, обично со копирање на постоечка политика што веќе работела, наместо да се дефинира нова, па дозволите само се собираа и никогаш не се намалуваа. На новите вработени им се даваа широки дозволи, бидејќи тоа беше побрзо од правилно дефинирање. Ова не е необичен неуспех: во пракса повеќето IAM улоги се лизгаат кон премногу дозволи, бидејќи никој не се враќа да ги скрати, а за разлика од грешка во кодот, вишокот дозвола не дава видлива грешка што би го наметнала прашањето. Соработниците што заминале пред неколку месеци сѐ уште имаа активни долготрајни клучеви за пристап, точно оној вид постојани акредитиви што AWS сега препорачува да се отстранат во корист на краткотраен, федериран пристап. Практикантот што дошол две недели пред падот го доби истото ниво на пристап како техничкиот директор, бидејќи скриптата за воведување на нови вработени не била ажурирана од времето кога компанијата имала 8 луѓе.

Самиот пад го предизвика случајно бришење на табела во базата на податоци во продукција. Практикантот експериментираше со скрипта за пренос на податоци во она што мислеше дека е развојна околина. Не беше. Компанијата немаше одвоени околини. Развојот, тестирањето и продукцијата делеа иста AWS сметка со исти IAM политики, па единственото нешто меѓу тестната скрипта и живите податоци на клиентите беше една низа за поврзување. Скриптата на практикантот се изврши врз базата во продукција, бидејќи таа низа по основно беше поставена на продукција, а никој не ја документирал разликата. Ништо во поставеноста не правеше опасното дејство да изгледа опасно, и токму така еден притисок на тастатура од најновиот човек во тимот сруши производ што го користат илјадници.

Кога инженерскиот тим почна да бара, не можеше да ја најде причината, бидејќи немаше поставени записи за пристап до базата. CloudTrail беше вклучен, како што е по основно, но никој никогаш не го отворил, па единствениот запис што ќе ја завршеше истрагата за неколку минути стоеше недопрен додека четири инженери бараа насекаде на друго место. Тимот потроши четири часа проверувајќи код, рестартирајќи услуги и прегледувајќи записи од објавувањата, пред Pineido да предложи да се провери активноста во IAM. CloudTrail го запишува идентитетот што повикува, изворната IP адреса и точното време за управувачки настани како бришење табела, токму она од кое зависи ваков инцидент. За 30 минути преглед на CloudTrail го најдовме точниот API повик што ја избриша табелата, од идентитетот потврдивме дека е случајно, а не упад, и го следевме до акредитивите на практикантот. Базата беше вратена од резервна копија што, за среќа, беше стара само 90 минути. Вкупниот прекин беше околу пет часа, а најголем дел од тоа не беше самото бришење, туку часовите поминати во барање на одговорот на погрешно место.

Чекор по чекор

Тријажа на инцидентот и наоѓање на причината

Почнавме со записите од CloudTrail и извештаите за активност во IAM, а не со кодот на апликацијата, бидејќи ненадеен пад без соодветна промена во кодот е прашање на пристап и идентитет, а не грешка во кодот. За 30 минути го најдовме точниот API повик што го предизвика падот, од настанот го прочитавме идентитетот за да исклучиме компромитирана сметка и го следевме до акредитивите на практикантот. Базата во продукција беше вратена од најновата автоматска резервна копија, стара само 90 минути, па загубата на податоци беше занемарлива. Вкупно време од нашето вклучување до враќањето на продукцијата: под два часа, наспроти четирите што внатрешниот тим веќе ги потроши барајќи во погрешниот слој.

Целосна ревизија на IAM и инфраструктурата

Во следните пет дена ја ревидиравме секоја IAM улога, политика и акредитив во AWS сметката, користејќи податоци за последен пристап и историјата на CloudTrail за да видиме кои дозволи навистина се користат, а не само што е дадено. Најдовме 42 критични пропусти: 11 улоги со администраторски пристап што требаше да бидат само за читање, 8 комплети акредитиви на поранешни вработени и соработници што сѐ уште беа активни, 6 S3 корпи со јавен пристап за читање што содржеа податоци на клиенти, 9 безбедносни групи со неограничени дојдовни правила, 5 Lambda функции со вградени API клучеви во променливите на околината и 3 нешифрирани инстанци на бази на податоци. Повеќето од нив не беа нови. Беа тивок остаток од осумнаесет месеци раст, секој поединечно оправдлив во моментот кога настанал, а заедно мапа на секој начин на кој компанијата можеше да биде провалена без пад некогаш да го постави прашањето.

Одвојување на околините

Создадовме посебни AWS сметки за развој, тестирање и продукција со AWS Organizations, па границата меѓу тестна скрипта и живите податоци на клиентите стана граница меѓу сметки, а не низа во конфигурациска датотека. Секоја околина доби свои IAM политики, мрежни поставки и инстанци на бази. Низите за поврзување ги преместивме во AWS Secrets Manager со контроли на пристап по околина, а развојната улога немаше никаков пат до тајна од продукција. Сценариото што го предизвика падот стана структурно невозможно: скрипта извршена од развојна околина повеќе не може ни да види, а камоли да избрише табела во продукција, без разлика кој ја извршува и што пишува во низата за поврзување.

Воведување политики за пристап

Изградивме матрица за контрола на пристап по улоги што секоја работна функција ја поврзува со минималните потребни дозволи, за пристапот секогаш да може да се следи до документирана деловна причина, а не до политиката што некој случајно ја копирал. Секој вработен доби пристап одново според таа матрица, со ограничени акредитиви, по основно само за читање и со проширување само каде улогата навистина го бара. Воведовме формален процес за барање пристап: секоја промена на дозвола бараше одобрение од менаџер и се запишуваше во централен регистар, што дава чиста трага за ревизија кој што одобрил и зошто. Пристапот до продукција бараше одобрение од двајца луѓе, намерна поделба на должностите за ниту еден човек, почетник или искусен, да не може сам да изврши промена што не може да се врати. Практикантот доби улога само за развој, без видливост во продукцијата.

Следење и аларми

Поставивме анализа на записите од CloudTrail со автоматски аларми за ризични API повици (бришење табели, промени во IAM политиките, измени во безбедносните групи и секој обид да се запре или избрише самото запишување, бидејќи мешањето во трагата за ревизија е најјасниот знак дека инцидентот е злонамерен, а не случаен). Поставивме автоматско неделно скенирање што открива нови улоги со премногу дозволи или јавно изложени ресурси пред да се вратат во истиот образец на собирање што ги создаде првичните 42 наоди. Инженерскиот тим доби упатство за одговор на инциденти што почнува таму каде што требаше да почне овој инцидент: прво земете ги идентитетот и времето од CloudTrail, за следниот пад, ако се случи, да следи структуриран пат на истрага наместо четири часа погодување.

42 Критични пропусти поправени

Контактирајте нѐ

Кажете ни што сакате да изградиме. Ви кажуваме од каде да почнеме и што е потребно.

Прашањата што одлучуваат дали сме вистински избор

Колку трае целосна безбедносна ревизија?

Првичната ревизија траеше пет работни дена и ја опфати секоја IAM улога, политика, акредитив, S3 корпа, безбедносна група и инстанца на база во сметката. Поправката на сите 42 пропусти траеше уште две недели, подредена така што најопасните изложености (јавно читливите корпи со податоци на клиенти и сѐ уште активните акредитиви на поранешни вработени) беа затворени во првите денови, а не во последните. Вкупната соработка траеше три недели од инцидентот до целосно зајакната инфраструктура. Обемот зависи од тоа колку хаос се собрал, но за компанија со ваква големина и историја на раст, три недели се вообичаени.

Треба ли безбедносна ревизија ако немаме инцидент?

Да. Повеќето пропусти што ги најдовме постоеја повеќе од една година. Падот беше поводот, но изложеноста беше многу постара: јавните S3 корпи и живите акредитиви на луѓе што веќе ја напуштиле компанијата тивко чекаа на секој што ќе погледне. Таква е природата на ризикот кај контролата на пристап. Не дава порака за грешка ниту неуспешно објавување, па ништо не го изнесува на површина додека нешто не тргне наопаку. Ревизијата однапред е многу поевтина од онаа по инцидент, и во пари и во довербата на клиентите што би ја чинел вистински упад. Вистинското време за неа е пред да имате причина.

Што е со барањата за усогласеност како SOC 2?

Поправките што ги направивме опфатија околу 70% од техничките контроли потребни за SOC 2 Type II. Матрицата на пристап по улоги, документираниот процес за одобрување и запишување, одобренијата од двајца за продукција, одвоените околини и следењето со CloudTrail директно одговараат на критериумите за контрола на пристап и управување со промени што ревизорите најмногу ги проверуваат (CC6 и CC8). Она што останува е главно доказот за оперативна ефикасност што Type II го бара со текот на времето: редовните прегледи на пристапот, повторните потврди и записите за одобренија што мора да се соберат во периодот на ревизијата. Ако компанијата оди кон сертификација, најтешката работа на инфраструктурата е веќе завршена, а остатокот е да се води процесот што го оставивме доволно долго за да се покаже дека работи.

Како ја правите ревизијата без да го попречите тимот?

Ревизијата тече паралелно со нормалниот развој. Ни треба пристап само за читање до AWS и околу 30 минути со двајца искусни инженери за контекст како е поврзана околината. Оттаму работата е главно пасивна анализа на записи, политики и конфигурации, а ништо од тоа не прекинува објавување. Тимот не престанува да испорачува додека трае ревизијата. Чекорите на поправка што бараат промена, како одвојување на околините или повторно доделување акредитиви, се закажуваат со тимот и се изведуваат во термини со низок ризик, за продукцијата да остане стабилна цело време.

АвторОсновач и имагинатор

Објавено