Data mesh verandert de manier waarop organisaties gegevens beheren. In tegenstelling tot traditionele gecentraliseerde modellen, maakt data mesh gebruik van een gedecentraliseerde, domeingeoriënteerde structuur. Maar hoe werkt governance in zo'n gedistribueerd systeem?
Bij ACA Group geloven we dat data mesh een antwoord is op de uitdaging van het beheren van data door zich te richten op het bouwen van een gedecentraliseerd, zelfbedienend data-ecosysteem. Het doel is om datagestuurde innovatie in te bedden in elke afdeling of elk team, waardoor iedereen in de organisatie verantwoordelijk wordt voor het creëren van herbruikbare data die nieuwe producten en diensten voor alle afdelingen voedt.
In een data mesh is niet alleen het beheer van eigendom en infrastructuur anders. De sleutel tot succes is de transformatie van data governance zelf. In plaats van een gecentraliseerd IT-team verantwoordelijk te maken voor data governance, verdeelt data mesh de verantwoordelijkheid over verschillende teams.
Deze aanpak, die bekend staat als "federated computational governance", zorgt voor actieve deelname van zowel data-producerende als data-consumerende teams bij het opstellen en goedkeuren van het governancebeleid.
Om het belang van governance in een data mesh te begrijpen, moeten we de kernprincipes van een data mesh opsplitsen en nagaan hoe ze zich verhouden tot de uitdagingen op het vlak van data governance:
In een data mesh worden eigenaarschap en verantwoordelijkheid van data verdeeld over verschillende bedrijfsdomeinen of -teams. Elk domein wordt een zelfstandige eenheid die zijn eigen dataproducten beheert. Dit betekent ook dat elk dataproduct en -domein op zichzelf staat, maar wel interoperabel moet zijn met andere dataproducten en -domeinen.
In plaats van een monolithisch datawarehouse bestaat een data mesh uit onderling verbonden dataproducten. Dit impliceert dat elk gegevensproduct zijn eigen "lokale dialect" kan hebben. De uitdaging hier is hoe je dezelfde taal spreekt, zonder dezelfde taal te spreken.
Deze benadering behandelt gegevens als een product, waarbij elk domein gegevensproducten creëert en onderhoudt die vindbaar, toegankelijk en herbruikbaar zijn. Metadatabeheer wordt een belangrijk onderwerp, omdat metadata worden gebruikt om de gegevens die in een gegevensproduct zijn opgenomen te ontdekken, er toegang toe te krijgen, ermee te integreren en ze te gebruiken.
Deze engine en bedieningspaneel stelt zowel dataproducenten als -consumenten in staat om zelf gegevens te produceren. Portalen voor ontwikkelaars, datacatalogi, lineage tools en samenwerkingsruimten vergemakkelijken naadloze navigatie, terwijl geautomatiseerde beleidshandhaving en regelmatige audits worden gebruikt om naleving te garanderen en de kwaliteit van dataproducten te bevorderen zonder handmatige tussenkomst. Automatisering van governance is een van de belangrijkste uitdagingen van het self-serve platform.
Nu je een beter inzicht hebt in de centrale bouwstenen en uitdagingen van data governance in een data mesh, gaan we dieper in op elk van deze uitdagingen afzonderlijk.
Een opvallend kenmerk van data mesh is federated governance. Maar wat betekent dat eigenlijk?
"Federated" verwijst naar het feit dat elk domein (en dataproduct binnen die domeinen) zijn eigen autonomie heeft, maar dat ze samenkomen om een paar dingen uit te werken die relevant en waardevol zijn voor iedereen. Je zou het kunnen zien als een parlementaire democratie, waar vertegenwoordigers samenkomen om gezamenlijke beslissingen te nemen, die vervolgens breed geïmplementeerd moeten worden.
Deze domeinoverschrijdende samenwerking betekent dat er heel wat teams bij betrokken zullen zijn.
Dit is een groep domeinvertegenwoordigers en experts die samenwerken met verschillende business units en expertisegebieden. Ze zorgen voor datakwaliteit, compliance en afstemming op de organisatiedoelen. Ze zien toe op taken zoals:
Dit team definieert een gestandaardiseerd beleid voor datagovernance en zorgt ervoor dat dataproducten en datasets kunnen worden gedeeld en hergebruikt, terwijl de algehele kwaliteit gewaarborgd blijft. Om onze eerdere vergelijking door te trekken: het Governance-team is als een "parlement" dat "wetten" bespreekt en aanneemt.
Dit team is essentieel voor het automatiseren en afdwingen van het door het Governance Team gedefinieerde governancebeleid op het self-serve platform. Ze zorgen ervoor dat beleidsregels kunnen worden overgenomen door Data Products op een low-effort basis, wat interoperabiliteit en samenwerking bevordert zonder onnodige overhead te introduceren.
Domeineams zijn afgestemd op business units en houden zich bezig met operationele data governance binnen hun eigen domein. De verantwoordelijkheden omvatten:
Belangrijk is dat elk domeinteam de autonomie en de middelen heeft om de standaarden uit te voeren die zijn gedefinieerd door het federatieve governanceteam.
Terwijl lokale domeinen beslissingen nemen die specifiek zijn voor hun domein, zorgt federated data governance ervoor dat globale regels worden toegepast op alle dataproducten en hun interfaces. Deze regels moeten zorgen voor een gezond en interoperabel ecosysteem.
Laten we beginnen met een belangrijke opmerking: federated governance vereist een andere manier van denken dan de meer traditionele governance-aanpak.
Federated governance is gericht op het zo veel mogelijk bevorderen van autonomie en interoperabiliteit, waarbij de bemoeienis van een gecentraliseerd team tot een absoluut minimum wordt beperkt. Wil je federated data governance succesvol implementeren in je organisatie? Zorg er dan voor dat je de volgende belangrijke fundamenten legt:
Elk domein kan zijn eigen specifieke lingo hebben, waardoor er uitdagingen ontstaan als de definitie van termen verschilt tussen teams. Om de kloven tussen domeinen te overbruggen, hebben we een solide basis nodig voor "vertaling" en een gemeenschappelijk begrip van termen. Dit is waar de bedrijfsontologie om de hoek komt kijken.
Je kunt het zien als een groot, hiërarchisch gestructureerd "woordenboek" dat concepten uit verschillende domeinen aan elkaar koppelt op basis van een gemeenschappelijke noemer.
Bijvoorbeeld: een verkoopteam en een financieel team gebruiken allebei de term "klant", maar de definities voor deze term die elk team gebruikt, zijn enigszins verschillend.
Zonder een gedeelde ontologie zou het combineren van de gegevensproducten van deze teams inconsistente resultaten opleveren, wat de behoefte aan duidelijkheid onderstreept.
Door domeinspecifieke termen te taggen naar een eenduidig concept (bijvoorbeeld "klant") in de ontologie, kunnen teams verschillen overbruggen en domeinoverschrijdend begrip mogelijk maken.
Om de gaten tussen domeinspecifieke termen te overbruggen:
Metadata, vaak omschreven als "data over data", speelt een cruciale rol in Federated Data Governance binnen een data mesh. Het biedt de noodzakelijke context om gegevens begrijpelijk, toegankelijk en bruikbaar te maken voor verschillende domeinen.
In een datanetwerk moeten metadata zo dicht mogelijk bij de bron worden beheerd. Elk gegevensproductteam is verantwoordelijk voor het zorgvuldig schrijven en beheren van de metadata die bij hun gegevensproduct horen. Uitzonderingen, zoals de geautomatiseerde toevoeging van datakwaliteitsmetriek van het selfserviceplatform, kunnen van toepassing zijn, maar het dataproduct zelf blijft de bron van de waarheid en moet als zodanig worden beheerd. Kortom, metadata moeten decentraal beheerd worden, maar centraal gebruikt kunnen worden.
Het beheer van metadata moet zo veel als redelijkerwijs mogelijk is worden geautomatiseerd en geïntegreerd met tools voor datagovernance om nauwkeurigheid en consistentie te garanderen. De belangrijkste praktijken zijn:
Het self-serve platform belichaamt "Federated Computational Governance". Het biedt tools en infrastructuur waarmee zowel gebruikers als makers onafhankelijk toegang kunnen krijgen tot dataproducten en deze kunnen beheren zonder afhankelijk te zijn van een centraal IT-team.
Het omarmen van een data mesh architectuur vereist een andere benadering van governance. Het traditionele gecentraliseerde model voor het beheren van data voldoet niet langer in een wereld waar wendbaarheid, autonomie en cross-functionele samenwerking van het grootste belang zijn.
Gefedereerde datagovernance stelt domeinteams in staat om eigenaar te zijn van hun dataproducten en tegelijkertijd te zorgen voor afstemming op wereldwijde organisatiestandaarden. Door verantwoordelijkheden te verdelen over domeinen, ondersteund door een zelfbedieningsplatform en sterke metadatamanagementpraktijken, kunnen organisaties de datakwaliteit, interoperabiliteit en compliance verbeteren zonder onnodige complexiteit toe te voegen.
Het succes van data mesh governance hangt echter af van het stimuleren van een sterke cultuur van data-eigenaarschap, het bouwen van een robuust self-service platform en het opzetten van duidelijke kaders die naadloze domeinoverstijgende samenwerking bevorderen.
Dat zijn veel modewoorden voor één zin, maar het is wel waar:
De sleutel tot succes in data mesh is een governancemodel dat de juiste balans vindt tussen autonomie en overzicht - zodat teams kunnen produceren en tegelijkertijd de integriteit en waarde van het data-ecosysteem van de organisatie kunnen waarborgen.