Планирање миграција што не излегува од колосек
Секој план за миграција изгледа разумно на хартија. Потоа мапирањето на податоците трае трипати подолго од проценката, прозорецот за преминот се продолжува двапати, и некој открива зависност што никој не ја запишал. Еве како да планирате миграции што навистина завршуваат.
Почнете од тоа што може да тргне наопаку
Повеќето планови за миграција почнуваат од тоа што треба да се случи. Подобрите планови почнуваат од тоа што може да тргне наопаку. Бројките ја оправдуваат претпазливоста: Gartner долго проценува дека околу 83 проценти од проектите за миграција на податоци или пропаѓаат или ги пробиваат буџетот и рокот, а The Bloor Group наведува просечно пробивање на трошоците од 30 проценти и на роковите од 41 процент. Овие бројки често се цитираат токму затоа што речиси никој не ги победува случајно. Пристапот што почнува од ризикот значи да се запише секоја претпоставка на која се потпира планот и да се праша: „што ако ова не е точно?“
Чести претпоставки што ги убиваат миграциите: „податоците се чисти“ (никогаш не се), „API-ата се документирани“ (документирани се за случајот кога сè оди добро), „ќе имаме пристап за читање до стариот систем за време на миграцијата“ (додека не истече лиценцата) и „корисниците ќе се навикнат на новиот начин на работа“ (ќе се противат на сè што им ја менува секојдневната рутина). Квалитетот на податоците е најчестата основна причина. Анкетите кај тимовите за миграција постојано ги враќаат доцнењата и напуштените проекти на нечисти, дуплирани или недокументирани изворни податоци, а не на некое техничко ограничување на новиот систем.
За секоја претпоставка, дефинирајте проверка што се извршува пред миграцијата да се потврди. Проверка на квалитетот на податоците пред увоз. Тестови на договорите на API пред интеграција. Потврда на рокот на лиценцата пред закажување на преминот. Тестирање од корисниците пред пуштање. Проверете ги претпоставките рано и миграцијата останува на патот. Откријте ги доцна и повторно планирате среде извршувањето.
Миграцијата на податоците е најтешкиот дел
Миграцијата на податоците е местото каде миграциите најчесто пропаѓаат. Изворниот систем има 15 години насобрани податоци, голем дел дуплирани, некои оштетени, а дел во формати што никој не може да ги објасни. Мапирањето на тоа во чиста нова шема не е технички проблем. Тоа е археолошка експедиција. Современите системи го прават ова потешко, не полесно, бидејќи бараат построга проверка од стариот систем. Полиња што старата база ги прифаќаше како слободен текст сега одбиваат сè што не одговара на тип, ограничување или надворешен клуч.
Пристапот што работи: извлечете репрезентативен примерок (не целосна копија) и пуштете го низ новата шема. Секоја грешка е одлука за мапирање. Запишете ја секоја одлука. Потоа пуштете ги сите податоци и споредете ги стапките на грешки. Ако грешките се под 1 процент, во добра состојба сте. Ако се над 5 проценти, мапирањата бараат уште работа пред преминот.
За старото и новото да бидат усогласени за време на преминот, потпрете се на следење на промените (CDC). Алатки како AWS Database Migration Service и Debezium со отворен код ги пренесуваат вметнувањата, измените и бришењата на ниво на ред од изворот во новиот систем, па промените направени за време на миграцијата не се губат. Комбинирајте го CDC со шемата „прошири па собери“ за измени на шемата: додадете ја новата структура, пишувајте и во старото и во новото, пополнете ги старите податоци, па отстранете ја старата структура дури кога ништо повеќе не чита од неа. Никогаш не преименувајте колона во еден чекор: додадете нова колона, копирајте ги податоците, ажурирајте ја апликацијата, па избришете ја старата.
Никогаш не правете миграција на сите податоци одеднаш без проба. Пуштете ја целата миграција на копија од новиот систем за тестирање барем двапати пред вистинскиот премин. Операција што завршува за милисекунди на табела од 1.000 реда во развој може да заклучи табела од 100 милиони реда во продукција со минути. Затоа пробувајте на податоци со вистинска големина, не на мал примерок. Првата проба открива проблеми што не сте ги предвиделе. Втората потврдува дека поправките работат. Прескокнете го ова и ќе барате грешки во податоците во продукција.
Планот за преминот одлучува за успехот
Преминот е моментот кога се префрлате од старото на новото. Сè пред тоа е подготовка. Сè потоа е последица. Лош план за преминот добро подготвена миграција ја претвора во катастрофа.
Дефинирајте го прозорецот за преминот: колку долго системот смее да биде исклучен (или да работи ослабено) за време на префрлањето? За некои бизниси тоа се часови. За други минути. Прозорецот ја одредува стратегијата: паралелна работа (двата системи активни), премин во фази (прво дел од корисниците) или сè одеднаш.
Вистински премин без прекин е можен, но тоа е дисциплина, не трик. Ги комбинира blue-green поставувањето (живата „сина“ околина и мигрираната „зелена“ се држат усогласени, сообраќајот се префрла преку распоредувач или DNS, а враќањето на сината трае секунди ако показателите се влошат), двојното пишување плус CDC за двете бази да бидат ажурни, и прекинувачи на функции за поставувањето код да се одвои од преминот на податоците. Загрејте ги кешовите на зелената околина и држете ги сесиите на ист сервер за корисниците да не забележат прекин.
Преминот во фази речиси секогаш е побезбеден од сè одеднаш. Прво префрлете 5 проценти од сообраќајот или корисниците. Следете 48 часа, гледајќи конкретни сигнали: стапка на грешки, p95 време на одговор, успешни најави и секој показател на конверзија што допира приход. Ако е стабилно, префрлете 25 проценти. Потоа 50. Потоа 100. Секоја фаза е контролна точка каде можете да застанете или да се вратите. Миграциите сè одеднаш немаат контролни точки: кога нешто ќе тргне наопаку во 2 после полноќ, единствената опција е да продолжите да поправате или да вратите сè.
Враќањето не е изборно
Секој план за миграција бара план за враќање. Не „ќе смислиме ако тргне наопаку“, туку запишана и тестирана постапка за враќање во претходната состојба во дефиниран рок. Разликата е огромна: расипана миграција со вежбано враќање е неколку секунди префрлање на сообраќајот назад на сината околина, а расипана миграција чија единствена опција е „враќање од резервна копија“ е прекин што се мери во часови.
Планот за враќање мора да одговори: Колку трае враќањето? Кои податоци создадени во новиот систем за време на миграцијата се во ризик? Можеме ли да вратиме делумно (некои корисници или функции) или само целосно? Која е последната точка до која враќањето е сè уште можно? Чувајте посебни скрипти за враќање за грешките што не сте ги предвиделе, и усогласете ги сите податоци запишани во прозорецот пред да продолжите.
Алатките за миграција помагаат тука. Алатките за верзии на шемата како Flyway и Liquibase ја следат историјата на миграциите и чуваат запис. Liquibase додава стандардно враќање, предуслови и откривање отстапувања, па одговара за сложени промени во повеќе околини, а Flyway за поедноставни последователни промени. Што и да користите, проверете го интегритетот со контролни суми и споредба на бројот на редови пред да го прогласите преминот за завршен.
Тестирајте ја постапката за враќање пред миграцијата. Пуштете ја миграцијата на тест околина, па извршете го враќањето. Ако враќањето не успее на тест, нема да успее ни во продукција. Ако враќањето трае 4 часа на тест, во продукција ќе трае 6.
Цената ако немате план за враќање: подолг прекин, загуба на податоци и тим што донесува одлуки во паника во 3 после полноќ. Цената ако имате: 2 до 3 дена подготовка.
Проверката по миграцијата го затвора кругот
Миграцијата не е готова кога завршува преминот. Готова е кога проверката потврдува дека сè работи. Проверката по миграцијата треба да трае барем 5 работни дена по преминот и да покрие:
Проверки на интегритетот на податоците: бројот на редови се совпаѓа, клучните врски се цели, пресметаните вредности се совпаѓаат со изворниот систем, а контролните суми се исти во старото и новото. Функционално тестирање: секој важен тек на работа на корисниците е испробан и потврден. Основа за брзина: времињата на одговор и стапките на грешки се во прифатливи граници во споредба со пред миграцијата. Проверка на интеграциите: секој надворешен систем што се поврзува со вашата платформа праќа и прима податоци точно.
Мерете сè ова. Алатки за следење како Prometheus, Grafana или Datadog ви дозволуваат однесувањето по преминот да го споредувате со основата пред миграцијата во реално време, наместо да чекате корисник да пријави дека нешто не работи. Тестирањето во сенка, повторување на вистински сообраќај од продукција врз новиот систем пред и веднаш по преминот, ги фаќа граничните случаи што ниту еден подготвен сет тестови нема да ги фати.
Запишете ги резултатите од проверката. Тие служат за две работи: потврда дека миграцијата успеала, и основа за споредба ако подоцна се појават проблеми. За шест месеци, кога некој ќе праша „дали овие податоци беа погрешни пред или по миграцијата?“, извештајот за проверката го дава одговорот.
Често поставувани прашања
Колку треба да трае една миграција?
Планирањето трае 1 до 2 недели. Извршувањето зависи од сложеноста: едноставните миграции на платформа собираат во спринт од 30 дена. Сложените миграции на податоци со повеќе изворни системи обично бараат 60 до 90 дена во 2 до 3 спринта.
Може ли миграција без прекин во работата?
Да, со комбинација на неколку шеми: blue-green поставување за премин со моментално враќање, двојно пишување плус следење на промените (CDC) за двете бази да бидат усогласени, и шемата „прошири па собери“ за секоја измена на шемата да остане компатибилна наназад. Тоа бара повеќе подготовка од префрлање сè одеднаш, но е можно за повеќето системи.
Кој е најголемиот ризик при миграција?
Квалитетот на податоците во изворниот систем. Нечисти, дуплирани или недокументирани податоци предизвикуваат повеќе пропаднати миграции од кој било технички проблем, и тоа е причината најцитираните бројки од индустријата да покажуваат дека околу 80 или повеќе проценти од миграциите на податоци ги пробиваат рокот или буџетот. Секогаш направете проценка на квалитетот на податоците пред да се обврзете на рок за миграција.
Да мигрираме сè одеднаш или во фази?
Во фази. Секогаш во фази. Прво мигрирајте ја компонентата со најмал ризик и најголема вредност. Проверете дека работи. Потоа следната компонента. Секоја фаза гради доверба и ги открива проблемите постепено, а не сите одеднаш.
Идеи за операциите, секоја недела
Придружете им се на сопствениците на сервисни бизниси што секоја недела добиваат една практична идеја за операции, автоматизација и раст.
Без спам. Откажете кога сакате.
Претплатени сте! Следното издание ќе ви стигне на е-пошта.
Не успеа. Обидете се повторно или пишете на [email protected].
Подготвени да почнеме?
Кажете ни каде сте заглавени. Ќе го прегледаме и ќе ви испратиме конкретна препорака во рок од еден работен ден.