ゼロダウンタイムのデータベース移行:本番運用プレイブック
移行に伴う障害のほとんどは、ひとつの間違いから生まれます。スキーマ変更と、それに依存するコードを同じ一息でリリースしてしまうことです。両者を切り離し、新旧をしばらく並行して走らせれば、怖い部分は退屈になります。これは、メンテナンスウィンドウなしで本番のスキーマを変更しデータベースを移すために私たちが使っているプレイブックです。
「ゼロダウンタイム」が実際に意味するもの
ゼロダウンタイムは魔法ではありません。それは、稼働中のアプリケーションが必要なものを読み書きできない瞬間が決して存在しない、という意味です。大規模データベースの移動を生業とする人々から借りた正直な言い方は「ほぼゼロのカットオーバー」です。新しい状態が旧状態を十分に近く映すので、ユーザーは切れ目に気づきません。
同じ言葉の下には2つの異なる問題が隠れており、それぞれ異なる戦術を要します。1つ目はスキーマ進化です。その場に留まるデータベースの中で、テーブル、カラム、型、制約を変更することです。2つ目は移転です。新しいデータベース、新しいエンジン、新しいリージョンへデータを移すことです。両者を貫く統一ルールは同じです。移行は旧アプリケーションコードがまだ動いているうちに完了しなければならず、新しいコードは重複期間中、旧の形と新の形の両方に対して動作しなければなりません。スキーマ変更をデプロイから切り離せば、全体がひとつの恐ろしいイベントではなくなります。
expand-contract パターンがゲームのすべて
ほぼすべての安全なスキーマ変更は、parallel change とも呼ばれる expand-contract の変種です。すべてを切り替えるひとつのアトミックな移行ではなく、作業をそれぞれ独立してリリースされ、それぞれ後方互換を保つフェーズに分割します。
Expand(拡張):旧のカラム、テーブル、インデックスの隣に新しいものを追加します。何も削除されないので、何も壊れません。アプリは両方の表現に書き込み始め(デュアルライト)ますが、読み取りは依然として旧から行います。
Migrate(移行):過去の行を新しい形に埋め戻し、検証し、デュアルライトを続けたまま読み取りを新カラムに切り替えます。
Contract(収縮):旧カラムへの書き込みを止め、忘れられた参照が大きな声で失敗するように改名し、観察し、その後はじめて削除します。
これが機能する理由は、フェーズ間の境界こそが、あなたがリリースして観察する場所だからです。何かがおかしく見えたら、前のフェーズはまだ完全に機能します。アラートが鳴り続ける中で中途半端に適用された変更を逆転させるのではなく、無期限に一時停止できます。純粋に加算的な変更は簡単なケースで、旧コードは新カラムを単に無視します。規律が最も重要になるのは、稼働中のアプリが依存しているものを変更または削除するときです。
デュアルライト:両方のコピーを正直に保つ
重複ウィンドウの間、すべての書き込みは旧と新の両方の場所に着地しなければならず、さもないと新しいコピーは静かに遅れていきます。やり方は2通りあり、その選択には実際の結果が伴います。
アプリケーション層のデュアルライトは、コードが両方の場所に明示的に書き込むことを意味します。トレースとログに現れるので、何かが食い違ったとき、あなたが既に信頼している可観測性スタックを通じてデバッグできます。データベーストリガーはより少ないアプリコードでカラムを同期できますが、その挙動は通常のツールが見えないデータベース内部で起こるため、デバッグが惨めになります。ほとんどのチームにとって、明示的なアプリ書き込みのわずかなコストは追跡可能性に見合います。
デュアルライトの鋭い刃は、2つの書き込みがひとつのアトミックなトランザクションではないことです。1つ目が成功し2つ目が失敗すれば、コピーはずれます。それが問題になる場合は、書き込みをトランザクショナルな outbox やキューベースの伝播経由でルーティングし、ひとつのコミット済みトランザクションを真実の源とし、2つ目の書き込みをそこから派生させます。ここで pgroll のようなツールは Postgres で異なるアプローチを取ります。バージョン固有のビューを公開して、新旧のアプリバージョンがそれぞれ期待するスキーマを見られるようにし、デュアルなロジックをあなたのコードではなくデータベース層で処理します。
データベースを溶かさずにバックフィルする
デュアルライトが有効になった瞬間から新しい書き込みは両方のコピーへ行きますが、過去の行は自分では動きません。バックフィルは既存データを新しい形へコピーします。バッチで行い、通常は一度に数千行ずつ、バッチ間に意図的な休止を入れて、I/O を飽和させて稼働中のトラフィックを飢えさせないようにします。
バックフィルはスキーマ変更とは別のジョブに保ちます。デフォルト付きの NOT NULL カラムを追加し、数百万行を同じ移行内で埋め戻すことが、2秒の変更を数時間に及ぶロックに変える元凶です。Postgres では、まず NOT NULL 制約を NOT VALID として追加します。これはテーブルスキャンを飛ばすため即座に完了し、その後 VALIDATE CONSTRAINT を別途実行します。これは読み書きを継続させる、より軽いロックを取ります。
重いバックフィルは低トラフィックのウィンドウにスケジュールし、スロットルをかけ、レプリカを見張ります。読み取りレプリカを運用しているなら、それらはプライマリと異なるスキーマを一時的に抱える場合があるので、アプリは移行中そのラグを許容しなければなりません。
新しいコピーを信頼する前に検証する
行を数えることは検証ではありません。行数は一致しても中身は異なりうるのです。読み取りを移す前に、重要なテーブルではチェックサムやハッシュで、サンプリングしたデータでは不変条件チェックで検証します。合計だけではいけません。すでに一部のクエリで両方のコピーから読んでいるなら、不一致をリアルタイムで指摘するアプリケーションレベルの比較が、得られる最も強いシグナルです。
バックフィルはデータ品質を直すチャンスでもあります。過去の行を移行すると、本番が何年も静かに許容してきた不整合が表面化するので、バックフィルを単なるコピーではなくクリーンアップのパスとして扱いましょう。
デュアルライトを早く切りすぎないこと。読み取りを切り替えた後、少なくとも1つの完全な業務サイクルの間、両方のコピーを生かして同期し続けます。旧パスを早めに無効化すると、まだ捕まえていない不一致が隠れ、あなたの最も安価なロールバック手段が失われます。
ロックこそがダウンタイムの真の源
DDL ステートメントそのものは通常速いものです。障害はその周りのロック競合から来ます。よくある失敗:ある ALTER が排他ロックを要求し、長時間実行のトランザクションや忘れられた開きっぱなしのセッションの後ろで詰まり、その後に到着するすべてのクエリがロックの後ろに並びます。単純なスキーマ変更が、サービス全体の停止へとエスカレートします。
防御しましょう。常に短い lock_timeout を設定して、ブロックされた DDL がキューを詰まらせる代わりに即座に失敗するようにします。Postgres では、CREATE INDEX CONCURRENTLY でインデックスを構築して書き込みが構築中も進むようにし、それが自分より前に始まったトランザクションを待つことを忘れず、はぐれた長時間クエリを先に始末します。Postgres は DDL もトランザクションで包むので、失敗した移行はきれいにロールバックします。
MySQL では状況はバージョン依存です。あなたの変更が ALGORITHM=INPLACE、LOCK=NONE をサポートするか確認し、8.0.29 より前の一部の操作はテーブル全体を再構築して書き込みをブロックすることに注意してください。オンライン ALTER ですらリスクのある行数の多いテーブルには、外部ツールに手を伸ばします。MySQL の gh-ost や pt-online-schema-change、Postgres の pgroll や pg_osc です。それらはシャドウコピーを構築し、チャンクで同期し、元のテーブルが完全に使える状態のままアトミックに入れ替えます。
新しいデータベースへの移動:一括ロード、CDC、カットオーバー
データベースの移転は、エンジン、バージョン、リージョンをまたぐ場合も、3つのフェーズに従います。1つ目、一括ロードでベースラインを確立します。ネイティブのダンプとリストア、またはスナップショットをターゲットへ流し込みます。2つ目、変更データキャプチャ(CDC)または論理レプリケーションが、すべての挿入、更新、削除をソースからターゲットへストリーミングし、差分をほぼゼロのラグへと縮め続けます。同一エンジンの移動では、Postgres の論理レプリケーションや MySQL の binlog レプリケーションが通常最もきれいな道で、論理レプリケーションはメジャーバージョンさえまたげます。論理レプリケーションは DDL を運ばないので、先にターゲットへスキーマを適用します。
3つ目はカットオーバーです。分単位ではなく秒単位の読み取り専用ウィンドウとして計画します。ソースへの書き込みを短時間止め、レプリケーションラグがゼロに達したことを確認し、接続文字列、DNS、ロードバランサーのルートを切り替えてトラフィックをリダイレクトします。シーケンスやオートインクリメントのずれに注意してください。ターゲットのシーケンスがソースに遅れていると、新しい挿入がレプリケートされた ID と衝突します。カットオーバー後は VACUUM/ANALYZE や OPTIMIZE TABLE を実行し、ソースを停止しないこと。ロールバックとして、できれば読み取り専用で、少なくとも24時間は生かしておきます。これが本番に触れる前に、本番規模のデータに対してステージングで完全な試験カットオーバーを行いましょう。ノートパソコンで2秒の変更が、実際の量では数時間かかることがあるからです。
毎週、オペレーションのヒントを受け取る
サービス業の経営者・運営者と一緒に、オペレーション、自動化、成長に関する実践的なヒントを毎週1つ受け取りましょう。
スパムは送りません。いつでも配信停止できます。
登録が完了しました。次号を受信トレイでお待ちください。
送信できませんでした。もう一度お試しいただくか、[email protected] までご連絡ください。
これが私たちの働き方にどう収まるか
これらのステップは単独ではどれも難しくありません。リスクは、それらを正しく順序づけること、どのフェーズで安全に一時停止できるかを知ること、そしてプレッシャー下で実際に機能するロールバックを持つことにあります。それこそが、私たちの固定スコープの30日スプリントが作られた目的の仕事です。明確に定義されたひとつの移行を expand-migrate-contract として計画し、バックフィル、検証、カットオーバーのランブックを、何かがリリースされる前に書き下ろしてリハーサルします。
現行システムを作り直すのではなく、古いシステムから完全に移行するのであれば、同じ原則がきれいな廃止を駆動します。二重稼働し、新しい経路を証明し、その後に文書化されたタイムラインで古いものを退役させます。そして、これらの変更の複数にまたがる全体的なデータとインフラの戦略を誰かに持ってほしいなら、それはフラクショナル CTO の領域です。いずれにせよ、目標はこの記事全体と同じです。移行を退屈にすることです。
よくある質問
ゼロダウンタイムの移行を1回のデプロイでできますか?
いいえ、純粋に加算的な変更を超えるものでは無理です。カラムやテーブルを変更または削除する安全な移行には、少なくとも2回のリリースサイクルが必要です。新しい構造を追加し、デュアルライトし、バックフィルする1回と、後で読み取りを切り替えて旧構造を削除する1回です。要点は重複期間中、旧コードを新しいスキーマに対して動かし続けることであり、単一のアトミックなデプロイではそれを保証できません。
デュアルライトはアプリケーションとデータベーストリガーのどちらに置くべきですか?
ほとんどの場合はアプリケーション層を選びましょう。明示的なデュアルライトはトレースとログに現れるので、2つのコピーが食い違ったとき、あなたが既に使っている可観測性ツールでデバッグできます。トリガーはロジックをコードの外に保ちますが、通常のトレースが見えないデータベース内部で動くため、インシデントの診断がはるかに難しくなります。アトミック性が重要な書き込みでは、トランザクショナルな outbox やキュー経由でルーティングし、食い違いが静かに起こり得ないようにします。
旧と新のデータが実際に一致することをどう検証しますか?
行数に頼ってはいけません。重要なテーブルにチェックサムやハッシュを使い、サンプリングした行に不変条件チェックを加えます。行数は一致しても中身は異なりうるからです。アプリが一部のクエリですでに両方のコピーから読んでいるなら、不一致を指摘するリアルタイム比較を追加します。読み取りを切り替えた後、少なくとも1つの完全な業務サイクルの間、デュアルライトを動かし続けて照合してから、新しいコピーだけを信頼します。
なぜ速いスキーマ変更でも障害を引き起こすのですか?
ほぼ常に DDL そのものではなくロック競合です。排他ロックを必要とする ALTER は、長時間実行のトランザクションや忘れられた開きっぱなしのセッションの後ろで詰まることがあり、その後に到着するすべてのクエリがロックの後ろに並び、速い変更がサービス全体の停止に変わります。短い lock_timeout を設定してブロックされた DDL を即座に失敗させ、Postgres では CREATE INDEX CONCURRENTLY を使い、始める前にはぐれた長時間クエリを片付けます。
通常の ALTER には大きすぎるテーブルはどうしますか?
シャドウコピーを構築して入れ替えるオンラインスキーマ変更ツールを使います。MySQL では、gh-ost や pt-online-schema-change がデータをチャンクでコピーし、元のテーブルが使える状態のままアトミックに入れ替えます。Postgres では、pgroll がバージョン認識のビューで expand-contract パターンを扱い、または pg_osc が一度きりの大きな変更を扱います。それでもロックを理解する必要があります。ツールはファイルと実行を管理しますが、lock_timeout、CONCURRENTLY、小さく安全なステップは依然としてあなた次第です。
本物のロールバック計画とはどのようなものですか?
フェーズの早い段階にいるほどロールバックは楽になります。expand フェーズからなら、新カラムは加算的で読み取りには使われていないので、デュアルライトのコードを外してリリースするだけです。カットオーバーの途中なら、読み取りフラグを旧カラムへ戻し、デュアルライトを動かし続け、新しいデータを失わずに調査します。新しいデータベースへ移転する場合は、何か表面化したときにトラフィックを戻せるよう、カットオーバー後に少なくとも24時間、ソースを読み取り専用で生かしておきます。