Nový datový sklad pro VIG ČR vznikl v rekordním čase
V rekordním čase 17 měsíců vybudovaly pojišťovny Kooperativa a ČPP (VIG ČR) s Adastrou nový DWH (Data Warehouse/datový sklad) a při zachování byznys kontinuity do něj převedly data ze stávajícího řešení.
Po 10 letech provozu původního datového skladu výrazně narostly požadavky na kvalitu a rychlost poskytovaných informací. Proto se Kooperativa a ČPP rozhodly vybudovat nové řešení DWH/BI (Business Intelligence) na platformě Microsoft. Nová verze DWH šestinásobně zkrátila dobu aktualizace dat. Na realizaci se podílelo přes 60 interních pracovníků obou pojišťoven a 20 konzultantů Adastry a jeho budování trvalo 1 rok a 5 měsíců. Do provozu byl uveden o rok dříve, než se původně plánovalo.
Původní datový sklad přestal postupně vyhovovat nárokům byznysových útvarů pojišťoven. Nahrávání dat do DWH ze zdrojových systémů trvalo skoro dva dny, probíhalo obvykle o víkendu s nutností načítání hlídat a v případě chyby zasáhnout. Aktualizace dat v datovém skladu proto probíhala s týdenní frekvencí, většina útvarů tak neměla úplně aktuální informace. Významným motivem byly i rostoucí náklady na provoz a údržbu stávající technologie.
Pojišťovny se tedy rozhodly vybudovat zcela nový robustní DWH, který by nabídl i možnost využívat moderní BI nástroje. Dále požadovaly, aby použité technologie a architektura řešení umožnily dynamický rozvoj DWH a BI v obou společnostech s ohledem na rostoucí požadavky útvarů, a to po dobu nejméně 10 let.
Ve spolupráci s Adastrou pojišťovny ověřily významné části a postupy budoucího řešení formou PoC (Proof-of-Concept). V prvním kroku došlo k podstatnému zkrácení ETL transformací inkrementálním načítáním dat. Pro zrychlení načítání dat z Informixu (databáze hlavních zdrojových systémů) do SQL Serveru byl využit inovativní přístup přímého nahrávání dat, který umožňoval nestandardní paralelní načítání stovek tabulek s využitím škálování.
Důležitým aspektem bylo zajištění business kontinuity. Byla zvolena strategie nahrazení normalizované L1 vrstvy 1:1 vzhledem k původnímu DWH s tím, že docházelo k optimalizacím části transformací. Vznikl klon L1 vrstvy datového skladu (na technologii Microsoft SQL Server 2016/17), pod níž se paralelně budovala stage vrstva L0 a vyvíjela vrstva L2 s datamarty. Pro zrychlení DWH/ETL vývoje na platformě SQL Serveru začaly pojišťovny po důkladném vyhodnocení několika variant používat Adastra ETL framework – sadu předpřipravených šablon, DWH/ETL standardů a jejich promítnutí do plánování, spouštění a monitoringu běhu ETL.
Z důvodu akcelerace vývojových prací se pojišťovny s Adastrou domluvily na agilním přístupu k řízení projektu a sestavení společného vývojového týmu. Kooperativa využila zkušeností z podobných projektů, pomohla nastavit projektové řízení, metodiku vývoje a nasazování do produkce. Díky tomu se ambiciózní termín podařilo splnit a původní DWH byl v pátek 13. září 2019 ve 13:13 vypnut.
Společnosti Kooperativa a ČPP získaly sjednocené řešení DWH a BI na moderní platformě Microsoft SQL s jednotným datovým modelem. Každá pojišťovna přitom využívá vlastní instanci datového skladu. Data se aktualizují denně, aktualizace dílčích dat mohou dle potřeb probíhat i několikrát denně. Nad rámec primárních cílů projektu (náhrada DWH 1:1) se podařilo naplnit řadu aktivit, vytvářejících pro pojišťovny cennou přidanou hodnotu. Jedná se např. o rozšíření datového skladu o účetnictví, sjednocení většiny dříve samostatných reportů Kooperativy a ČPP nebo vznik jednotné sémantické (interpretační) vrstvy pro každou z firem. To umožnilo náhradu více než 200 exportů různým útvarům, které si nad daty vytvářely vlastní výstupy. Místo zpracování dat se tak mohou útvary věnovat operativní a analytické činnosti.
Zásadní čísla projektu:
5400 tabulek – během projektu došlo k vytvoření nebo migraci cca 1600 tabulek v L0 vrstvě, cca 1600 tabulek v L1 vrstvě, více než 200 tabulek/view v L2 vrstvě a více než 2000 uživatelských tabulek v datamartech.
6 – nahrávání dat ze zdrojových systémů se z 36 hodin zkrátilo na cca 6 hodin.
17 měsíců – Budování nového DWH v pojišťovnách Kooperativa a ČPP trvalo 17 měsíců.
80 expertů – Ve společném týmu působilo 20 specialistů z Adastry a více než 60 pracovníků Kooperativy a ČPP.