零停机数据库迁移:生产环境实操手册
大多数迁移导致的故障都来自同一个错误:把结构变更和依赖它的代码在同一次操作里一起上线。把它们解耦,让新旧两套并行运行一段时间,那些吓人的环节就会变得平淡无奇。这就是我们在生产环境中变更结构、迁移数据库且无需维护窗口所用的实操手册。
“零停机”到底意味着什么
零停机不是魔法。它意味着永远不会出现运行中的应用无法读写它所需内容的时刻。从那些以迁移大型数据库为生的人那里借来的诚实说法是“近零切换”:新状态与旧状态足够吻合,以至于用户根本察觉不到中断。
同一句话下藏着两个不同的问题,它们需要不同的策略。第一个是结构演进:在原地不动的数据库内部变更表、列、类型和约束。第二个是搬迁:把数据迁到新的数据库、新的引擎或新的区域。贯穿两者的统一规则是相同的。迁移必须在旧应用代码仍在运行时完成,而新代码在重叠期内必须既能对旧结构也能对新结构正常工作。把结构变更与部署解耦,整件事就不再是一次令人胆战心惊的单一事件。
expand-contract 模式就是整盘棋
几乎每一次安全的结构变更都是 expand-contract(也叫并行变更)的某种变体。与其用一次原子迁移把所有东西一次翻转,不如把工作拆成若干阶段,每个阶段都独立上线,并且都保持向后兼容。
Expand(扩展):在旧列、旧表或旧索引旁边添加新的。什么都不会坏,因为什么都没被移除。应用开始向两种表示形式写入(双写),但仍从旧的读取。
Migrate(迁移):把历史行回填成新的形式,然后校验,然后在双写持续进行的同时把读取切换到新列。
Contract(收缩):停止写入旧列,重命名它,让任何被遗忘的引用大声报错,观察一段时间,然后才删除它。
这之所以有效,是因为阶段之间的边界正是你上线并观察之处。如果有任何不对劲,上一个阶段仍然完全可用。你可以无限期暂停,而不是在告警此起彼伏时去逆转一个只应用了一半的变更。纯增量变更是最简单的情况,旧代码会直接忽略新列。当你要变更或移除在线应用所依赖的东西时,这份纪律才最为重要。
双写:让两份副本都保持诚实
在重叠窗口期内,每一次写入都必须同时落到新旧两处,否则新副本会悄悄落后。你有两种做法,而这个选择会带来实实在在的后果。
应用层双写意味着你的代码显式地往两处写。它会出现在追踪和日志里,所以当出现分歧时,你可以用你早已信任的可观测性栈来调试。数据库触发器能以更少的应用代码保持列同步,但其行为发生在数据库内部,你日常的工具看不到那里,这会让调试苦不堪言。对大多数团队来说,一次显式应用层写入的小代价,值得换来可追溯性。
双写的锋利之处在于两次写入并不是一次原子事务。如果第一次成功而第二次失败,两份副本就会漂移。对于任何在意这点的场景,把写入通过事务性 outbox 或基于队列的传播来路由,让单次已提交的事务成为唯一真实来源,第二次写入由它派生而来。这也是像 pgroll 这样的工具在 Postgres 上采取不同思路之处:它暴露按版本区分的视图,让新旧应用版本各自看到它们期望的结构,并在数据库层而非你的代码中处理双重逻辑。
回填而不烧毁数据库
双写一开启,新写入就同时进入两份副本,但历史行不会自己移动。回填把现有数据复制成新的形式。分批进行,通常一次几千行,批次之间故意停顿,这样你就不会饱和 I/O 并把资源从在线流量手中抢走。
把回填放在与结构变更分开的作业里。在同一次迁移中添加一个带默认值的 NOT NULL 列并回填数百万行,正是一个两秒的变更如何变成数小时长锁的方式。在 Postgres 上,先以 NOT VALID 方式添加 NOT NULL 约束,这是瞬时的,因为它跳过了全表扫描,然后单独运行 VALIDATE CONSTRAINT,它只取一个更轻的锁,允许读写继续。
把繁重的回填安排在低流量窗口,给它限速,并盯住你的副本。如果你运行只读副本,它们可能短暂地承载与主库不同的结构,所以应用在迁移期间必须容忍这种延迟。
在信任新副本之前先校验
数行数不是校验。行数可以相同而内容却不同。在迁移读取之前,用关键表上的校验和或哈希以及对抽样数据的不变量检查来验证,而不仅仅是总数。如果你对某些查询已经在从两份副本读取,那么实时标记不匹配的应用级比对就是你能得到的最强信号。
回填也是你修复数据质量的机会。迁移历史行会让生产环境多年来悄悄容忍的不一致浮出水面,所以把回填当作一次清理过程,而不只是一次复制。
不要过早切断双写。在切换读取之后,至少保持两份副本存活并同步一个完整的业务周期。过早禁用旧路径会掩盖你尚未发现的不匹配,并夺走你最廉价的回滚手段。
锁才是停机的真正源头
DDL 语句本身通常很快。故障来自它周围的锁争用。一个常见的失败:一个 ALTER 请求排他锁,被一个长时间运行的事务或一个被遗忘的打开会话卡住,之后到达的每一条查询都排在锁的后面。一次简单的结构变更升级成了波及整个服务的停滞。
要防御它。始终设置一个较短的 lock_timeout,让被阻塞的 DDL 快速失败,而不是堵住队列。在 Postgres 上,用 CREATE INDEX CONCURRENTLY 构建索引,让写入在构建期间继续进行,并记住它会等待在它之前开始的事务,所以先杀掉游离的长查询。Postgres 还把 DDL 包在事务里,所以失败的迁移能干净地回滚。
在 MySQL 上情况则取决于版本。检查你的变更是否支持 ALGORITHM=INPLACE、LOCK=NONE,并注意 8.0.29 之前的某些操作会重建整张表并阻塞写入。对于行数极高、连在线 ALTER 都有风险的表,求助于外部工具:MySQL 上的 gh-ost 或 pt-online-schema-change,Postgres 上的 pgroll 或 pg_osc。它们构建一个影子副本,分块同步它,并在原表保持完全可用的同时原子地切换。
迁往新数据库:批量加载、CDC、切换
搬迁一个数据库,跨引擎、跨版本或跨区域,都遵循三个阶段。第一,批量加载建立一个基线:把原生导出与恢复,或一个快照,灌入目标。第二,变更数据捕获(CDC)或逻辑复制把每一次插入、更新和删除从源端流式传输到目标端,让差距持续收窄至近零延迟。对于同引擎迁移,Postgres 逻辑复制或 MySQL binlog 复制通常是最干净的路径,而逻辑复制甚至能跨越大版本。先在目标上应用结构,因为逻辑复制不携带 DDL。
第三是切换。把它规划成一个以秒计而非以分钟计的只读窗口:短暂停止对源端的写入,确认复制延迟已归零,然后通过切换连接串、DNS 或负载均衡器路由来重定向流量。当心序列和自增的漂移,如果目标的序列落后于源端,新插入会与已复制的 ID 撞车。切换之后,运行 VACUUM/ANALYZE 或 OPTIMIZE TABLE,且不要关闭源端。让它存活,最好是只读,至少保留 24 小时作为你的回滚。在这一切触及生产之前,先在预发环境针对生产规模的数据做一次完整的演练切换,因为在笔记本上花两秒的变更,在真实数据量上可能要花数小时。
每周获取运营洞见
加入服务型企业的运营者,每周收到一条关于运营、自动化和增长的可执行洞见。
这如何契合我们的工作方式
这些步骤单独来看都不难。风险在于正确地排序它们,知道你可以安全地停在哪个阶段,以及拥有一个在压力下真正管用的回滚。这正是我们固定范围的 30 天冲刺所擅长的工作:一次清晰定义的迁移,按 expand-migrate-contract 来规划,回填、校验和切换的运行手册在任何东西上线之前就写下并演练过。
如果你是要彻底迁出一个旧系统,而不是改造现有系统,同样的原则会驱动一次干净的退役:双轨运行,证明新路径,然后按一份有文档记录的时间表退役旧的。而如果你更愿意让某个人在若干这类变更中拥有整体的数据与基础设施策略,那就是分时 CTO 的领域。无论哪种方式,目标都和整篇文章一样:让迁移变得平淡无奇。
常见问题
我能在一次部署里完成零停机迁移吗?
不能,凡是超出纯增量变更的都不行。一次安全的、变更或移除某列或某表的迁移,至少需要两个发布周期:一个用来添加新结构、双写并回填,之后再来一个用来切换读取并删除旧结构。其全部要点是在重叠期内让旧代码对新结构保持工作,而单次原子部署无法保证这一点。
双写应该放在应用里还是数据库触发器里?
大多数情况下优先选应用层。显式的双写会出现在你的追踪和日志里,所以当两份副本出现分歧时,你可以用你早已使用的可观测性工具来调试它。触发器把逻辑挡在你的代码之外,但运行在数据库内部,那里你日常的追踪看不到,这会让事故诊断难得多。对于原子性至关重要的写入,通过事务性 outbox 或队列来路由,这样分歧就不会悄无声息地发生。
我怎样校验新旧数据是否真的一致?
不要依赖行数。对你的关键表使用校验和或哈希,再加上对抽样行的不变量检查,因为行数可以相同而内容却不同。如果你的应用对某些查询已经在从两份副本读取,那就添加一个实时比对来标记不匹配。在切换读取之后,保持双写运行并对账至少一个完整的业务周期,然后再单独信任新副本。
为什么一次快速的结构变更仍会导致停机?
几乎总是锁争用,而不是 DDL 本身。一个需要排他锁的 ALTER 可能被一个长时间运行的事务或一个被遗忘的打开会话卡住,之后到达的每一条查询都排在锁后面,把一次快速变更变成波及整个服务的停滞。设置一个较短的 lock_timeout 让被阻塞的 DDL 快速失败,在 Postgres 上使用 CREATE INDEX CONCURRENTLY,并在开始前清理掉游离的长查询。
对于大到无法用普通 ALTER 处理的表怎么办?
使用一个在线结构变更工具,它会构建一个影子副本并把它切换进来。在 MySQL 上,gh-ost 或 pt-online-schema-change 分块复制数据并在原表仍可用时原子地切换。在 Postgres 上,pgroll 用版本感知的视图处理 expand-contract 模式,或者 pg_osc 处理一次性的大型变更。你仍然需要理解锁;工具管理文件和执行,但 lock_timeout、CONCURRENTLY 以及小而安全的步骤仍然要靠你。
一份真正的回滚计划是什么样的?
你在阶段中越靠前,回滚就越容易。从 expand 阶段来看,新列是增量的且不用于读取,所以你只需删掉双写代码并上线。在切换的中途,把读取开关切回旧列,保持双写运行,并在不丢失新数据的情况下排查。当搬迁到新数据库时,在切换之后让源端存活并保持只读至少 24 小时,这样一旦有问题浮现,你就能把流量重定向回去。