Миграция базы данных без простоя: рабочий сценарий для продакшена
Большинство сбоев при миграции рождаются из одной ошибки: выкатить изменение схемы и зависящий от него код одним махом. Разделите их, дайте старому и новому поработать бок о бок какое-то время, и страшные части станут скучными. Вот сценарий, который мы используем, чтобы менять схемы и переносить базы данных в продакшене без окна обслуживания.
План статьи8
- Что на самом деле означает «без простоя»
- Шаблон expand-contract это вся игра
- Двойная запись: держите обе копии честными
- Дозаполнение без расплавления базы
- Проверяйте, прежде чем доверять новой копии
- Блокировки это настоящий источник простоя
- Переезд на новую базу: массовая загрузка, CDC, переключение
- Как это укладывается в то, как мы работаем
Что на самом деле означает «без простоя»
Без простоя не означает магию. Это означает, что никогда нет момента, когда работающее приложение не может прочитать и записать то, что ему нужно. Честная формулировка, заимствованная у тех, кто переносит большие базы данных за деньги, это «почти нулевое переключение»: новое состояние отражает старое достаточно близко, чтобы пользователи никогда не заметили разрыва.
Под одной и той же фразой прячутся две разные задачи, и они требуют разной тактики. Первая это эволюция схемы: изменение таблиц, столбцов, типов и ограничений внутри базы, которая остаётся на месте. Вторая это перенос: перемещение данных в новую базу, новый движок или новый регион. Объединяющее правило для обеих одинаково. Миграция должна завершиться, пока старый код приложения ещё работает, а новый код должен работать и со старой, и с новой формой во время перекрытия. Разделите изменение схемы и развёртывание, и вся затея перестанет быть единым пугающим событием.
Шаблон expand-contract это вся игра
Почти каждое безопасное изменение схемы это разновидность expand-contract, также называемого параллельным изменением. Вместо одной атомарной миграции, которая переключает всё разом, вы делите работу на фазы, каждая из которых выкатывается независимо и каждая остаётся обратно совместимой.
Expand: добавьте новый столбец, таблицу или индекс рядом со старым. Ничего не ломается, потому что ничего не удаляется. Приложение начинает писать в оба представления (двойная запись), но всё ещё читает из старого.
Migrate: дозаполните исторические строки в новую форму, затем проверьте, затем переключите чтения на новый столбец, пока двойная запись продолжается.
Contract: прекратите писать в старый столбец, переименуйте его, чтобы любая забытая ссылка падала громко, понаблюдайте и только потом удалите его.
Причина, по которой это работает, в том, что граница между фазами это место, где вы выкатываете и наблюдаете. Если что-то выглядит не так, предыдущая фаза всё ещё полностью работоспособна. Вы можете встать на паузу сколь угодно долго, вместо того чтобы разворачивать наполовину применённое изменение, пока трещат пейджеры. Чисто аддитивные изменения это лёгкий случай, старый код просто игнорирует новый столбец. Дисциплина важнее всего, когда вы меняете или удаляете то, от чего зависит работающее приложение.
Двойная запись: держите обе копии честными
Во время окна перекрытия каждая запись должна попасть и в старое, и в новое место, иначе новая копия тихо отстанет. У вас есть два способа сделать это, и выбор имеет реальные последствия.
Двойная запись на уровне приложения означает, что ваш код явно пишет в оба места. Она проявляется в трассировках и логах, поэтому когда что-то расходится, вы можете отладить это через стек наблюдаемости, которому уже доверяете. Триггеры базы данных могут держать столбцы синхронизированными с меньшим количеством кода приложения, но поведение происходит внутри базы, где ваш обычный инструментарий его не видит, что делает отладку мучительной. Для большинства команд небольшая цена явной записи на уровне приложения окупается прослеживаемостью.
Острый край двойной записи в том, что две записи это не одна атомарная транзакция. Если первая удалась, а вторая провалилась, копии расходятся. Для всего, где это имеет значение, направляйте записи через транзакционный outbox или распространение на основе очереди, чтобы одна зафиксированная транзакция была источником истины, а вторая запись выводилась из неё. Именно здесь инструмент вроде pgroll выбирает другой подход в Postgres: он выставляет специфичные для версии представления, чтобы старая и новая версии приложения видели каждая ту схему, которую ожидает, и обрабатывает двойную логику на уровне базы, а не в вашем коде.
Дозаполнение без расплавления базы
Новые записи идут в обе копии в тот момент, когда включена двойная запись, но исторические строки сами не перемещаются. Дозаполнение копирует существующие данные в новую форму. Делайте это пакетами, обычно по несколько тысяч строк за раз, с намеренной паузой между пакетами, чтобы не насытить ввод-вывод и не оголодить живой трафик.
Держите дозаполнение в отдельном задании от изменения схемы. Добавить столбец NOT NULL со значением по умолчанию и дозаполнить миллионы строк в той же миграции, это как двухсекундное изменение превращается в многочасовую блокировку. В Postgres сначала добавьте ограничение NOT NULL как NOT VALID, что мгновенно, потому что пропускает сканирование таблицы, а затем выполните VALIDATE CONSTRAINT отдельно, что берёт более лёгкую блокировку, позволяющую чтениям и записям продолжаться.
Планируйте тяжёлое дозаполнение на окна низкого трафика, регулируйте его и следите за репликами. Если вы держите реплики чтения, они могут ненадолго нести иную схему, чем основной узел, поэтому приложение должно терпеть это отставание во время миграции.
Проверяйте, прежде чем доверять новой копии
Подсчёт строк это не проверка. Счётчики строк могут совпадать, пока содержимое различается. Прежде чем переносить чтения, проверьте контрольными суммами или хешами на критических таблицах и проверками инвариантов на выборочных данных, а не только итогами. Если вы уже читаете из обеих копий для некоторых запросов, сравнение на уровне приложения, которое помечает расхождения в реальном времени, это самый сильный сигнал, который вы можете получить.
Дозаполнение это также ваш шанс исправить качество данных. Миграция исторических строк выносит на поверхность несоответствия, которые продакшен тихо терпел годами, поэтому относитесь к дозаполнению как к проходу очистки, а не просто к копированию.
Не отрезайте двойную запись слишком рано. Держите обе копии живыми и синхронизированными как минимум один полный бизнес-цикл после переключения чтений. Отключение старого пути раньше времени скрывает расхождения, которые вы ещё не поймали, и лишает вас самого дешёвого отката.
Блокировки это настоящий источник простоя
Сам оператор DDL обычно быстр. Сбой приходит от состязания за блокировки вокруг него. Типичный провал: ALTER запрашивает эксклюзивную блокировку, застревает за долго выполняющейся транзакцией или забытой открытой сессией, и каждый запрос, приходящий после него, выстраивается в очередь за блокировкой. Простое изменение схемы перерастает в остановку в масштабе всего сервиса.
Защищайтесь. Всегда задавайте короткий lock_timeout, чтобы заблокированный DDL быстро падал, а не забивал очередь. В Postgres стройте индексы через CREATE INDEX CONCURRENTLY, чтобы записи продолжались во время построения, и помните, что он ждёт транзакции, начавшиеся до него, поэтому сначала убейте заблудившиеся долгие запросы. Postgres к тому же оборачивает DDL в транзакции, поэтому провалившаяся миграция откатывается чисто.
В MySQL картина зависит от версии. Проверьте, что ваше изменение поддерживает ALGORITHM=INPLACE, LOCK=NONE, и учтите, что некоторые операции до 8.0.29 перестраивают всю таблицу и блокируют записи. Для таблиц с очень большим числом строк, где даже онлайн-ALTER рискован, возьмите внешний инструмент: gh-ost или pt-online-schema-change в MySQL, pgroll или pg_osc в Postgres. Они строят теневую копию, синхронизируют её кусками и атомарно меняют местами, пока оригинал остаётся полностью пригодным к использованию.
Переезд на новую базу: массовая загрузка, CDC, переключение
Перенос базы данных, между движками, версиями или регионами, проходит три фазы. Первая, массовая загрузка устанавливает базовую линию: нативный дамп и восстановление или снимок в целевую базу. Вторая, захват изменений данных (CDC) или логическая репликация передаёт каждую вставку, обновление и удаление из источника в цель, чтобы разрыв продолжал сужаться к почти нулевому отставанию. Для переездов внутри одного движка логическая репликация Postgres или репликация binlog MySQL обычно самый чистый путь, а логическая репликация даже охватывает мажорные версии. Примените схему на цели первой, потому что логическая репликация не переносит DDL.
Третья это переключение. Спланируйте его как окно только для чтения в секундах, а не минутах: ненадолго остановите записи на источнике, подтвердите, что отставание репликации достигло нуля, затем перенаправьте трафик, поменяв строку подключения, DNS или маршрут балансировщика нагрузки. Следите за дрейфом последовательностей и автоинкремента: если последовательность цели отстаёт от источника, новые вставки сталкиваются с реплицированными идентификаторами. После переключения выполните VACUUM/ANALYZE или OPTIMIZE TABLE и не выключайте источник. Держите его живым, в идеале только для чтения, минимум 24 часа как ваш откат. Прежде чем что-либо из этого коснётся продакшена, проведите полное пробное переключение в стейджинге на данных продакшен-масштаба, потому что изменение, которое занимает две секунды на ноутбуке, на реальном объёме может занять часы.
Идеи для операционной работы каждую неделю
Присоединяйтесь к руководителям сервисных компаний, которые каждую неделю получают одну практическую идею об операциях, автоматизации и росте.
Без спама. Отписаться можно в любой момент.
Вы подписаны! Следующий выпуск придёт на вашу почту.
Не удалось отправить. Попробуйте ещё раз или напишите на [email protected].
Как это укладывается в то, как мы работаем
Ни один из этих шагов не сложен сам по себе. Риск живёт в правильном их упорядочивании, в понимании, на какой фазе можно безопасно встать на паузу, и в наличии отката, который действительно работает под давлением. Это именно тот вид работы, для которого созданы наши спринты с фиксированным объёмом на 30 дней: одна чётко определённая миграция, спланированная как expand-migrate-contract, с раннбуком дозаполнения, проверки и переключения, написанным и отрепетированным до того, как что-либо выкатится.
Если вы мигрируете полностью прочь от старой системы, а не переделываете текущую, те же принципы ведут к чистому выводу из эксплуатации: двойная работа, докажите новый путь, затем выведите старый по задокументированному графику. А если вы предпочитаете, чтобы кто-то владел общей стратегией данных и инфраструктуры через несколько таких изменений, это территория частичного CTO. В любом случае цель та же, что и у всей этой статьи: сделать миграцию скучной.
Готовы к запуску?
Расскажите, где вы застряли. Мы разберёмся и пришлём конкретную рекомендацию в течение одного рабочего дня.
Часто задаваемые вопросы
Можно ли сделать миграцию без простоя за одно развёртывание?
Нет, ни для чего сверх чисто аддитивного изменения. Безопасная миграция, которая меняет или удаляет столбец или таблицу, требует как минимум двух циклов релиза: одного, чтобы добавить новую структуру, вести двойную запись и дозаполнить, и более позднего, чтобы переключить чтения и удалить старую структуру. Весь смысл в том, чтобы старый код продолжал работать с новой схемой во время перекрытия, чего одно атомарное развёртывание гарантировать не может.
Где должна жить двойная запись: в приложении или в триггерах базы данных?
В большинстве случаев предпочитайте уровень приложения. Явные двойные записи появляются в ваших трассировках и логах, поэтому когда две копии расходятся, вы можете отладить это инструментами наблюдаемости, которые уже используете. Триггеры держат логику вне вашего кода, но выполняются внутри базы, где ваша обычная трассировка их не видит, что делает диагностику инцидентов гораздо труднее. Для критичных к атомарности записей направляйте через транзакционный outbox или очередь, чтобы расхождение не могло произойти тихо.
Как проверить, что старые и новые данные действительно совпадают?
Не полагайтесь на счётчики строк. Используйте контрольные суммы или хеши на ваших критических таблицах плюс проверки инвариантов на выборочных строках, потому что счётчики могут совпадать, пока содержимое различается. Если ваше приложение уже читает из обеих копий для некоторых запросов, добавьте сравнение в реальном времени, помечающее расхождения. Держите двойную запись работающей и сверяйте как минимум один полный бизнес-цикл после переключения чтений, прежде чем доверять новой копии в одиночку.
Почему быстрое изменение схемы всё равно вызывает сбой?
Почти всегда состязание за блокировки, а не сам DDL. ALTER, которому нужна эксклюзивная блокировка, может застрять за долго выполняющейся транзакцией или забытой открытой сессией, и каждый запрос, приходящий после, выстраивается в очередь за блокировкой, превращая быстрое изменение в остановку всего сервиса. Задайте короткий lock_timeout, чтобы заблокированный DDL быстро падал, используйте CREATE INDEX CONCURRENTLY в Postgres и уберите заблудившиеся долгие запросы перед началом.
Как быть с таблицами, слишком большими для обычного ALTER?
Используйте инструмент онлайн-изменения схемы, который строит теневую копию и подменяет её. В MySQL gh-ost или pt-online-schema-change копируют данные кусками и атомарно меняют местами, пока оригинал остаётся пригодным к использованию. В Postgres pgroll обрабатывает шаблон expand-contract с представлениями, учитывающими версию, или pg_osc обрабатывает разовые крупные изменения. Вам всё равно нужно понимать блокировки; инструменты управляют файлом и выполнением, но lock_timeout, CONCURRENTLY и небольшие безопасные шаги по-прежнему на вас.
Как выглядит настоящий план отката?
Откат становится легче, чем раньше вы находитесь в фазах. Из фазы expand новый столбец аддитивен и не используется для чтений, поэтому вы просто убираете код двойной записи и выкатываете. В середине переключения верните флаг чтения на старый столбец, оставьте двойную запись работающей и разбирайтесь, не теряя новые данные. При переезде на новую базу держите источник живым и только для чтения минимум 24 часа после переключения, чтобы можно было перенаправить трафик обратно, если что-то всплывёт.