42 уязвимости и ключ AWS стажёра
- Закрыто 42 уязвимости
- Продакшен восстановлен в тот же день
- Контроль доступа перестроен
- 42 Устранённых критических уязвимостей
- <2 ч Время от подключения Pineido до восстановления продакшена
- 8 Отозванных устаревших учётных данных бывших сотрудников
Что изменилось
- Устранённых критических уязвимостей
- 42
- Время от подключения Pineido до восстановления продакшена
- <2 ч
- Отозванных устаревших учётных данных бывших сотрудников
- 8
- Защищённых публично открытых бакетов S3
- 6
- Созданных отдельных сред AWS
- 3
- Инцидентов продакшена из-за проблем доступа после устранения
- 0
Их словами
Что за тарелка спагетти с соусом. Мы и понятия не имели, насколько мы уязвимы, пока кто-то не показал нам полную картину. Этот аудит, вероятно, спас нас от чего-то куда худшего, чем пятичасовой сбой.
Ситуация
Растущая технологическая компания с 60 сотрудниками и продуктом, обслуживающим тысячи активных пользователей в день, столкнулась с внезапным сбоем продакшена. Приложение упало в рабочее время, и клиентский трафик начал отдавать ошибки уже через несколько минут. Команда инженеров искала причину больше четырёх часов без результата. Никто не был уверен, что изменилось, кто к чему прикасался и с чего начинать поиск. Они перезапускали сервисы, откатили два последних деплоя и прочесали логи приложения, но сбой не совпадал ни с одним путём кода, который кто-либо мог найти. CEO позвонил в Pineido после четвёртого часа, потому что внутренняя команда ходила по кругу, а стоимость каждого дополнительного часа простоя росла. Более глубокая проблема, которую сбой лишь обнажил, заключалась в том, что у компании не было способа ответить на самый базовый вопрос любого инцидента: кто что сделал и когда. Без этого ответа четыре инженера могут часами прочёсывать не тот слой.
Что на самом деле сломалось
Непосредственной проблемой был сбой, но проблема в основе была куда хуже. Компания выросла с 8 инженеров до 25 за восемнадцать месяцев. Во время этого роста никто не поддерживал систему контроля доступа. Роли AWS IAM создавались на скорую руку, чаще всего копированием существующей политики, которая уже работала, вместо того чтобы аккуратно очертить новую, поэтому права только накапливались и никогда не сокращались. Новым сотрудникам выдавали широкие права, потому что это было быстрее, чем выверять их как следует. Это не редкая ошибка: на практике большинство ролей IAM сползают к избыточным привилегиям, потому что никто не возвращается их подрезать, и в отличие от ошибки в коде избыточное право не порождает никакой видимой ошибки, которая заставила бы заняться вопросом. У подрядчиков, ушедших несколько месяцев назад, по-прежнему оставались активные долгоживущие ключи доступа, ровно тот класс постоянных учётных данных, от которого AWS теперь рекомендует отказываться в пользу краткоживущего федеративного доступа. Стажёр, пришедший за две недели до сбоя, получил тот же уровень доступа, что и технический директор, потому что скрипт онбординга не обновлялся с тех пор, как в компании было 8 человек.
Сам сбой был вызван случайным удалением таблицы базы данных продакшена. Стажёр экспериментировал со скриптом миграции данных в том, что он считал средой разработки. Это было не так. У компании не было никакой изоляции сред. Разработка, стейджинг и продакшен использовали один и тот же аккаунт AWS с одними и теми же политиками IAM, так что единственным, что отделяло тестовый скрипт от реальных данных клиентов, была строка подключения. Скрипт стажёра выполнился против базы продакшена, потому что эта строка подключения по умолчанию указывала на продакшен, и никто не задокументировал разницу. Ничто в этой конфигурации не делало опасное действие ощутимо опасным, и именно так одно нажатие клавиши самым новым человеком в команде положило продукт, обслуживавший тысячи пользователей.
Когда команда инженеров начала разбираться, она не могла определить первопричину, потому что для базы данных не были настроены журналы доступа. CloudTrail был включён, как он включён по умолчанию, но никто никогда его не открывал, поэтому та единственная запись, которая завершила бы расследование за минуты, лежала нетронутой, пока четыре инженера искали повсюду ещё. Команда потратила четыре часа на проверку кода приложения, перезапуск сервисов и просмотр логов деплоя, прежде чем Pineido предложила проверить активность IAM. CloudTrail фиксирует вызывающую личность, исходный IP и точную метку времени для событий управления, таких как удаление таблицы, а именно на этом и держится инцидент подобного рода. В течение 30 минут после просмотра CloudTrail мы определили точный вызов API, удаливший таблицу, подтвердили по вызывающей личности, что это была случайность, а не вторжение, и проследили его до учётных данных стажёра. База данных была восстановлена из резервной копии, которой, к счастью, было всего 90 минут. Сбой в сумме длился около пяти часов, и наибольший вклад в эту цифру внесло не само удаление, а часы, потраченные на поиск ответа не в том месте.
Шаг за шагом
Сортировка инцидента и определение первопричины
Мы начали с логов CloudTrail и отчётов об активности IAM, а не с кода приложения, потому что внезапный сбой без соответствующего изменения кода это вопрос доступа и личности, а не ошибка программирования. В течение 30 минут мы нашли точный вызов API, вызвавший сбой, считали вызывающую личность прямо из события, чтобы исключить скомпрометированный аккаунт, и проследили его до учётных данных стажёра. База данных продакшена была восстановлена из последней автоматической резервной копии, которой было всего 90 минут, так что потеря данных оказалась незначительной. Общее время от нашего подключения до восстановления продакшена: менее двух часов против четырёх, которые внутренняя команда уже потратила, разбираясь не в том слое.
Полный аудит IAM и инфраструктуры
За следующие пять дней мы проверили каждую роль, политику и учётные данные IAM в аккаунте AWS, используя данные о последнем доступе и историю CloudTrail, чтобы увидеть, какие права действительно использовались, а не просто были выданы. Мы нашли 42 критические уязвимости: 11 ролей с избыточными привилегиями и доступом уровня администратора, которые должны были быть доступны только для чтения, 8 наборов учётных данных бывших сотрудников и подрядчиков, остававшихся активными, 6 бакетов S3 с публичным доступом на чтение, содержавших данные клиентов, 9 групп безопасности с неограниченными входящими правилами, 5 функций Lambda с жёстко зашитыми ключами API в переменных окружения и 3 незашифрованных экземпляра базы данных. Большинство из них не были новыми. Это был тихий осадок восемнадцати месяцев роста, каждая по отдельности оправданная в момент создания, а все вместе они складывались в карту всех способов, которыми компанию могли скомпрометировать, без того чтобы сбой когда-либо заставил задать этот вопрос.
Изоляция сред
Мы создали отдельные аккаунты AWS для разработки, стейджинга и продакшена с помощью AWS Organizations, так что граница между тестовым скриптом и реальными данными клиентов стала границей аккаунта, а не строкой в файле конфигурации. Каждая среда получила собственные политики IAM, сетевую конфигурацию и экземпляры базы данных. Строки подключения были перенесены в AWS Secrets Manager с контролем доступа, специфичным для каждой среды, а роли разработки не дали никакого пути к секрету продакшена вообще. Сценарий, вызвавший сбой, стал структурно невозможным: скрипт, запущенный из контекста разработки, больше не может увидеть, не говоря уже об удалении, таблицу продакшена, независимо от того, кто его запускает и что написано в строке подключения.
Внедрение политики доступа
Мы построили матрицу ролевого контроля доступа, сопоставлявшую каждую должностную функцию с минимально необходимыми правами, чтобы доступ всегда можно было проследить до задокументированной деловой причины, а не до политики, которую кто-то скопировал случайно. Каждый сотрудник был заново подготовлен с нуля по этой матрице с ограниченными учётными данными, по умолчанию только для чтения и с повышением прав лишь там, где роль действительно этого требовала. Был введён формальный процесс запроса доступа: любое изменение прав требовало согласования руководителя и фиксировалось в центральном реестре, давая чистый аудиторский след того, кто что и почему одобрил. Доступ к продакшену требовал согласования двух человек, намеренное разделение обязанностей, чтобы ни один человек, младший или старший, не мог в одиночку внести необратимое изменение. Стажёру выдали роль исключительно для разработки без какой-либо видимости продакшена.
Мониторинг и оповещения
Мы настроили анализ логов CloudTrail с автоматическими оповещениями для рискованных вызовов API (удаление таблиц, изменения политик IAM, модификации групп безопасности и любые попытки остановить или удалить само ведение журнала, поскольку вмешательство в аудиторский след это самый явный признак того, что инцидент злонамеренный, а не случайный). Было настроено еженедельное автоматическое сканирование для выявления новых ролей с избыточными привилегиями или публично доступных ресурсов до того, как они снова сползут в ту же модель накопления, что породила исходные 42 находки. Команда инженеров получила руководство по реагированию на инциденты, которое начинается с того места, с которого должен был начаться этот инцидент: сначала извлечь личность и метку времени из CloudTrail, чтобы следующий сбой, если он произойдёт, шёл по структурированному пути расследования, а не по четырём часам догадок.
42 Устранённых критических уязвимостей
Связаться с нами
Расскажите, что вы хотите создать. Мы скажем, с чего начать и что для этого нужно.
Вопросы, которые решают, подходим ли мы
Сколько времени занимает полный аудит безопасности?
Первоначальный аудит занял пять рабочих дней и охватил каждую роль, политику и учётные данные IAM, каждый бакет S3, группу безопасности и экземпляр базы данных в аккаунте. Устранение всех 42 уязвимостей заняло ещё две недели и было выстроено так, чтобы наиболее опасные точки доступа (публично читаемые бакеты с данными клиентов и всё ещё активные учётные данные бывших сотрудников) были закрыты в первые дни, а не в последние. Весь проект длился три недели, от инцидента до полностью укреплённой инфраструктуры. Объём масштабируется в зависимости от того, сколько накопилось беспорядка, но для компании такого размера и истории роста три недели это норма.
Стоит ли проводить аудит безопасности, если инцидента не было?
Да. Большинство найденных нами уязвимостей существовали больше года. Сбой стал спусковым крючком, но открытость возникла задолго до него: публичные бакеты S3 и активные учётные данные людей, уже покинувших компанию, тихо ждали любого, кто удосужится посмотреть. Такова природа риска контроля доступа. Он не порождает ни сообщения об ошибке, ни упавшего деплоя, поэтому ничто не выводит его на поверхность, пока что-нибудь не пойдёт не так. Проактивный аудит намного дешевле, чем аудит, вызванный инцидентом, и в деньгах, и в доверии клиентов, которое стоила бы настоящая утечка. Подходящее время его проводить это до того, как появится повод.
А как насчёт требований соответствия вроде SOC 2?
Выполненная нами работа по устранению покрыла примерно 70% технических средств контроля, требуемых для SOC 2 Type II. Матрица ролевого доступа, задокументированный процесс согласования и журналирования, согласование продакшена двумя людьми, изоляция сред и мониторинг CloudTrail напрямую соответствуют критериям контроля доступа и управления изменениями, которые аудиторы изучают наиболее пристально (CC6 и CC8). Остаётся в основном свидетельство операционной эффективности, которое Type II требует со временем: периодические проверки доступа, переаттестации и записи согласований, которые должны накапливаться в течение всего окна аудита. Если компания пойдёт за сертификацией, самая трудная инфраструктурная работа уже сделана, а остальное это запускать оставленный нами процесс достаточно долго, чтобы показать, что он работает.
Как вы проводите аудит, не мешая команде?
Аудит идёт параллельно с обычной разработкой. Нам нужен доступ к AWS только для чтения и около 30 минут с двумя старшими инженерами, чтобы понять, как устроена среда. Дальше работа в основном представляет собой пассивный анализ логов, политик и конфигурации, ничто из чего не прерывает деплой. Команда не перестаёт выпускать релизы, пока идёт аудит. Шаги устранения, которые действительно требуют изменений, например разделение сред или переоформление учётных данных, планируются вместе с командой и выкатываются в окна низкого риска, чтобы продакшен оставался стабильным всё время.
АвторKostadin StambolievОснователь и имагинатор
Опубликовано