Nova paradigma u svetu podataka: Upoznajte data mesh

Međutim, kako se poslovanje usložnjava, a podaci koji se generišu dolaze sa sve više izvora, u vrtoglavom obimu, organizacijama je potrebno da odu korak dalje – u primenu tehnologija kao što su jezera podataka (data lakes) i takozvana “scale-out” rešenja koja analiziraju velike količine podataka.

Novi izazovi, nove potrebe, novi pristup data arhitekturi

Poslednjih godina, mnoge kompanije uspešno su primenile moderne arhitektonske i analitičke šablone koji kombinuju data warehousing i big data tehnologije. Ovakav pristup, međutim, ima svoje izazove. Navedene tehnologije najčešće se implementiraju kao monolitna rešenja u projektima gde je jedan tim i provajder platforme i izvođač integracije podatka. Za manje organizacije ovo ne mora biti problem, ali korišćenje samo jednog tima u većim okruženjima može da stvori brojna uska grla. Tranzicija ka mikroservisima za razvoj aplikcija stvara dodatne zaostatke u domenu integracije podatka jer uvećava broj izbora podataka. Gledano sa poslovne perspektive, veliki broj organizacija je decentralizovan i distrubiran. Različiti sektori upravljaju specifičnim operacijama, a jedan tim teško da može da ima eksperte za svaki izvor podataka koje ti sektori generišu. Odgovor na ove izazove, kao i potrebe kompanija za bržim, skalabilnijim, data-driven procesima, stvorio je potrebu za novim pristupom. Iz potrebe za promenom paradime u upravljanju i pristupnju analitičkim podacima rođen je data mesh – jedan od najbrže rastućih trendova tokom 2020. godine.

Šta je data mesh?

Data mesh je arhitektonski koncept za implementaciju enterprise data platformi u velikim i kompleksnim poslovnim okruženjima. Reč je o decentralizovanoj arhitekturi koja organizuje podatke prema specifičnom biznis domenu – poput prodaje, marketinga, korisničke podrške i drugih funkcija – pružajući im veći stepen vlasništva (ownership) nad setovima podatka koje generišu i za koje mogu da uspostave data governance polise sa fokusom na dokumentaciju, kvalitet i pristup podacima. Jedna od glavnih prednosti ovakve arhitektore jeste što omogućava distribuiranim timovima da rade i dele informacije na decentralizovan i agilan način.

Premda data mesh pristup eliminiše brojna uska grla koja su posledica centralizovanih, monolitnih sistema, primeniti ga ne znači staviti tačku na tradicionalne storidž sisteme kao što su data lake i data warehouse. Ovi se sistemi se i dalje mogu koristiti – razlika je što se podaci ne preuzimaju iz jedne platforme, već iz mnogobrojnih, decentralizovanih repozitorijuma podatka.

Data mesh u akciji: Norwegian data-driven transformacija

Koristeći data mesh, srpska kompanija Cloudwalker pomogla je Norwegian-u, jednoj od vodećih low-cost avio-prevoznika u Evropi, da razvije sopstvenu analitičku platformu na Amazon Web Services (AWS) cloud-u. Jedan od ciljeva projekata bio je da se brojim timovima (naplata, održavanje aviona, analitika itd.) omogući da kreiraju svoje analitičke sisteme na AWS-u, te da dele privilegije sa tih sistema sa drugim timovima.

“Kroz data mesh arhitekturu omogućeno je da domenski stručnjaci za konkretne oblasti mogu da podele pogled na svoje podatke sa linijskim analitičarima i drugim timova kojima su podaci potrebni. Mnogo različitih account-a koje eksperti unutar svakog tima koriste usaglašeno je kroz AWS Lake Formation, a korišćen je i AWS Glue. Kao data-driven kompanija, Norwegian je iskoristio ovu arhitekturu da omogući svojim timovima kompletnu autonomiju i vlasništvo nad podacima, uz centralizovanu lokaciju za otkrivanje i upravljanje,” objašnjava Bojan Sovilj, generalni direktor Cloudwalker-a.

Obzirom da Norwegin koristi veliki broj internih sistema na kojima se nalazi velika količina podataka, uključujući i lične podatke (personally identifible information) bilo je neophodno da se omogući da svaki tim može da deklariše podatke kao osetljive koristeći self-serve platformsku tehnologiju i donosi odluke vezane za pristup podacima na izvoru. Time je, ističe Bojan Sovilj, u dizajn arhitekture utkana privatnost (privacy by design).

Pouzdan partner za transformaciju podataka

Cloudwalker je pionir data mesh-a u Srbiji, čiju ekspertizu za poslovnu analitku, rešavanje sistemskih problema i korišćenje AWS-native alata je prepoznao evropski i svetski lider, Norwegian, i poverio im realizaciju jednog od najnaprednijih data projekata u avio industriji. Dugogodišnje inženjersko iskustvo na polju data transformacije, poznavanje najnovijih alata i konsultantski pristup Cloudwalker stručnjaka su garancije uspešnog projekta za stvaranje vredosti od podataka.