42 个漏洞与一名实习生的 AWS 密钥

  • 修复 42 个漏洞
  • 当天恢复生产环境
  • 重建访问控制
  • 42 已修复的严重漏洞
  • 不到 2 小时 从 Pineido 介入到生产恢复的时间
  • 8 已吊销的前员工陈旧凭证

有哪些变化

已修复的严重漏洞
42
从 Pineido 介入到生产恢复的时间
不到 2 小时
已吊销的前员工陈旧凭证
8
已加固的公开暴露 S3 存储桶
6
已创建的独立 AWS 环境
3
修复以来因访问问题导致的生产事故
0

用他们的话说

简直就是一盘浇了酱的意大利面。在有人把全貌摆在我们面前之前,我们根本不知道自己暴露得有多严重。那次审计很可能让我们躲过了比一次五小时故障糟糕得多的事情。
Tariq工程经理,成长型科技公司

当时的情况

一家拥有 60 名员工、产品服务于每日数千名活跃用户的成长型科技公司,遭遇了一次突发的生产故障。应用在工作时间内宕机,面向客户的流量在几分钟内开始报错。工程团队已经排查了四个多小时仍未解决。没有人确定到底改动了什么、谁动过什么,或者该从哪里开始查。他们重启了服务、回滚了最近两次部署,并梳理了应用日志,但故障与任何人能找到的代码路径都对不上。在第四个小时后,CEO 打电话给 Pineido,因为内部团队在原地打转,而每多停机一小时的代价都在攀升。这次故障只是暴露了更深层的问题:公司无法回答任何事故中最基本的问题,即谁在什么时候做了什么。没有这个答案,四名工程师可能会在错误的层面上追查数小时。

真正出问题的地方

眼前的问题是故障,但底层的问题要严重得多。公司在十八个月内从 8 名工程师增长到 25 名。在这一增长过程中,没有人维护过访问控制系统。AWS IAM 角色都是临时拼凑出来的,通常是直接复制一个已经能用的现有策略,而不是为新角色重新限定范围,所以权限只会不断累积、从不收缩。新员工被授予宽泛的权限,因为那比正确地限定范围更快。这并不是罕见的失误:实践中,大多数 IAM 角色都会因为没人回头修剪而逐渐滑向过度授权,而且与代码缺陷不同,过度的权限不会产生任何可见的错误来迫使人们正视它。几个月前就已离职的外包人员仍持有有效的长期访问密钥,这正是 AWS 如今建议以短期联合访问取代的那一类常驻凭证。在故障前两周入职的那名实习生,被授予了与 CTO 相同的访问级别,因为入职脚本自公司只有 8 人时起就再也没有更新过。

故障本身是由生产数据库表的意外删除引起的。这名实习生一直在他以为是开发环境的地方试验一个数据迁移脚本。其实并不是。公司没有任何环境隔离。开发、预发布和生产共用同一个 AWS 账户和相同的 IAM 策略,所以横在测试脚本和真实客户数据之间的唯一屏障,只是一个连接字符串。实习生的脚本之所以在生产数据库上运行,是因为那个连接字符串默认指向生产,而没有人记录过两者的区别。整套配置没有任何地方让危险的操作显得危险,而这正是团队里最新的人一次按键就能拖垮一个服务于数千用户的产品的原因。

工程团队开始排查时,无法确定根本原因,因为数据库没有配置任何访问日志。CloudTrail 是开启的,因为它默认就开启,但从来没有人打开过它,所以那一条本可以在几分钟内结束调查的记录被原封不动地搁置着,而四名工程师却在其他所有地方翻找。团队花了四个小时检查应用代码、重启服务、查看部署日志,然后 Pineido 才建议去查 IAM 活动。CloudTrail 会为像删除表这样的管理事件记录调用方身份、源 IP 和精确的时间戳,而这恰恰是此类事故的关键所在。在查看 CloudTrail 的 30 分钟内,我们就找出了删除该表的那次确切 API 调用,从调用方身份确认这是意外而非入侵,并将其追溯到了实习生的凭证。所幸数据库从一份仅有 90 分钟历史的备份中得以恢复。整次故障总计约五个小时,而其中最大的贡献因素并不是删除本身,而是花在错误地方寻找答案的那些时间。

一步一步

事故分诊与根因定位

我们从 CloudTrail 日志和 IAM 活动报告入手,而不是从应用代码入手,因为一次没有对应代码改动的突发故障是访问与身份的问题,而非程序缺陷。在 30 分钟内,我们找出了引发故障的那次确切 API 调用,从事件本身读取了调用方身份以排除账户被入侵的可能,并将其追溯到了实习生的凭证。生产数据库从最近一份自动备份中恢复,该备份仅有 90 分钟历史,因此数据丢失可以忽略不计。从我们介入到生产恢复的总时间:不到两个小时,而内部团队此前已在错误的层面上花了四个小时。

完整的 IAM 与基础设施审计

在接下来的五天里,我们审计了 AWS 账户中的每一个 IAM 角色、策略和凭证,并借助最近访问数据和 CloudTrail 历史来查看哪些权限实际被使用,而不仅仅是被授予。我们发现了 42 个严重漏洞:11 个拥有管理员级别访问权限、本应只读的过度授权角色,8 组仍处于活动状态、属于前员工和外包人员的凭证,6 个开放公共读取权限、含有客户数据的 S3 存储桶,9 个具有无限制入站规则的安全组,5 个在环境变量中硬编码 API 密钥的 Lambda 函数,以及 3 个未加密的数据库实例。其中大多数都不是新近产生的。它们是十八个月增长留下的无声残余,每一个在被创建的当下单独看来都说得过去,而合在一起,就是一张公司可能被攻破的全部途径的地图,而这一切原本无需一次故障就能浮现出来。

环境隔离

我们使用 AWS Organizations 为开发、预发布和生产创建了相互独立的 AWS 账户,从而把测试脚本与真实客户数据之间的边界,从配置文件里的一个字符串变成了账户边界。每个环境都获得了自己的 IAM 策略、网络配置和数据库实例。连接字符串被迁移到 AWS Secrets Manager,并配以按环境区分的访问控制,开发角色完全没有任何路径可以触及生产密钥。导致故障的场景在结构上变得不可能:从开发上下文运行的脚本再也无法看到、更别说删除一个生产表,无论是谁运行它,也无论连接字符串里写的是什么。

访问策略落地

我们构建了一个基于角色的访问控制矩阵,将每一项工作职能映射到其所需的最小权限,从而使访问始终可以追溯到一个有据可查的业务理由,而不是某人碰巧复制来的某条策略。每名员工都依据该矩阵从零重新配置了受限的凭证,默认只读,仅在角色确实需要时才提升。我们引入了正式的访问申请流程:任何权限变更都需要主管批准,并记录在一个中央登记册中,从而留下一条清晰的审计轨迹,记录谁批准了什么、为什么批准。生产访问需要两人审批,这是一种刻意的职责分离,确保任何人,无论资历深浅,都无法独自完成一项不可逆的变更。实习生被授予了一个仅限开发的角色,对生产没有任何可见性。

监控与告警

我们配置了 CloudTrail 日志分析,并为高风险 API 调用设置了自动告警(删除表、IAM 策略变更、安全组修改,以及任何停止或删除日志本身的尝试,因为篡改审计轨迹是事故为恶意而非意外的最明确信号)。我们设立了每周一次的自动扫描,以便在新出现的过度授权角色或对外暴露的资源重新滑回当初产生 42 项发现的那种累积模式之前就将其检测出来。工程团队拿到了一份事故响应手册,它从本次事故本应起步的地方开始:先从 CloudTrail 取出身份和时间戳,这样下一次故障若发生,便会沿着结构化的调查路径推进,而不是四个小时的胡乱猜测。

42 已修复的严重漏洞

联系我们

告诉我们您想做什么。我们会告诉您从哪里开始、需要什么。

决定我们是否适合您的问题

一次完整的安全审计需要多长时间?

初次审计用了五个工作日,覆盖了账户中的每一个 IAM 角色、策略、凭证、S3 存储桶、安全组和数据库实例。修复全部 42 个漏洞又用了两周时间,并按顺序安排,使影响最大的暴露(可公开读取的客户数据存储桶,以及仍处于活动状态的前员工凭证)在头几天而非最后几天关闭。整个项目从事故到基础设施完全加固历时三周。范围会随着累积的混乱程度而变化,但对于这种规模和增长历程的公司而言,三周是常态。

如果我们还没发生过事故,是否应该做安全审计?

应该。我们发现的大多数漏洞都已存在一年多。故障只是触发点,但暴露早在它之前就已显著存在:公开的 S3 存储桶,以及那些早已离开公司之人仍然有效的凭证,都在静静等待任何碰巧去看一眼的人。这正是访问控制风险的本质。它不产生任何错误消息,也不会有失败的部署,因此在出问题之前没有任何东西会把它推到台面上。主动审计远比事故驱动的审计便宜得多,无论是在金钱上,还是在一次真正的攻破会付出的客户信任上。做审计的恰当时机,是在你有理由去做之前。

像 SOC 2 这样的合规要求该怎么办?

我们所做的修复工作覆盖了 SOC 2 Type II 所需技术控制项的大约 70%。基于角色的访问矩阵、有据可查的审批与日志流程、两人制的生产审批、环境隔离以及 CloudTrail 监控,直接对应审计师最为重视的访问控制与变更管理标准(CC6 和 CC8)。剩下的主要是 Type II 要求随时间积累的运行有效性证据:在审计窗口内必须不断累积的周期性访问复审、再认证和审批记录。如果公司寻求认证,最难的基础设施工作已经完成,剩下的就是把我们留下的流程运行足够长的时间,以证明它确实有效。

你们如何在不打扰团队的情况下完成审计?

审计与正常开发并行进行。我们需要对 AWS 的只读访问权限,以及与两名资深工程师约 30 分钟的交流,以了解环境是如何搭建的。从那以后,工作主要是对日志、策略和配置的被动分析,这些都不会打断任何一次部署。审计进行期间团队不会停止交付。那些确实需要变更的修复步骤,例如拆分环境或重新配置凭证,都会与团队协商安排,并在低风险窗口内推出,以确保生产环境自始至终保持稳定。

作者创始人兼 Imaginator

发布于