Leestijd 3 min

Tom De Wolf

Maak het concreet voor alle belanghebbenden Data Mesh wordt vaak gezien als iets zeer abstract en theoretisch, waardoor belanghebbenden onzeker zijn over de precieze implicaties en mogelijke oplossingen ervan. Daarom willen we het bij ACA Group zo concreet mogelijk maken voor business stakeholders, technische stakeholders en andere belanghebbenden in de organisatie. Wij raden aan om drie belangrijke uitdagingen tegelijkertijd aan te pakken: IDENTIFICEER BEDRIJFSWAARDE – Definieer hoe Data Mesh exact bijdraagt ​​aan de bedrijfswaarde door data als een product te beschouwen. ORGANISEER TEAMS – Specificeer de rol van elk team, teamlid en persona binnen de context van Data Mesh. BUILD PLATFORM – Laat zien hoe data mesh de technische architectuur beïnvloedt. Uitdaging 1: De bedrijfswaarde van Data Mesh identificeren Een van de eerste uitdagingen bij de introductie van Data Mesh is het uitleggen en bewijzen van de waarde voor de business. Bij ACA Group beginnen we met het identificeren van potentiële dataproducten, domeinen en use cases. Dit proces is gebaseerd op zakelijke input en resulteert in een dataproductlandschap. De figuur hieronder geeft een voorbeeld vanuit een e-commerce bedrijf (rechthoeken zijn applicaties, hexagonen zijn data producten, kleuren geven domeinen die ownership nemen). Dit landschap dient als navigatiekaart, inspireert nieuwe innovatieve zakelijke ideeën en laat de meerwaarde zien die Data Mesh voor de organisatie kan bieden. Door te laten zien hoe Data Mesh nieuwe mogelijkheden kan creëren, verduidelijken we de relevantie ervan voor zakelijke belanghebbenden. Data Mesh Oplossingen Afstemmen op Organisatiedoelen Om het maximale uit Data Mesh te halen, is afstemming op de algemene doelstellingen en strategie van de organisatie van het grootste belang. Het is cruciaal om ervoor te zorgen dat de investering in technologie en processen aansluit bij de bredere bedrijfsdoelstellingen. Door deze afstemming blijft de steun en het momentum behouden, wat cruciaal is voor het succes van een Data Mesh-initiatief. Data Mesh Opportuniteiten Identificeren met Gamestorming Bij ACA Group passen we gamestorming-technieken toe om domeinen en dataproducten te ontdekken. Dit proces begint met de identificatie van business mogelijkheden en datagebruiksscenario's. Dat doen we aan de hand van workshops, zoals het in kaart brengen van de impact. Door Data Mesh op deze aspecten af ​​te stemmen, identificeren we een dataproductlandschap vanuit twee perspectieven. Een inventarisatie van beschikbare data en potentiële dataproducten inspireert en genereert nieuwe zakelijke ideeën, terwijl de gewenste zakelijke impact en doelstellingen helpen bij het identificeren van de benodigde data en dataproducten. Uitdaging 2: Teams Organiseren en Individuen Empoweren Data Mesh gaat niet alleen over technologie; het gaat over het transformeren van de manier waarop teams en teamleden binnen de organisatie opereren. ACA Group gelooft in het effectief organiseren van teams om de kracht van Data Mesh te benutten. We gaan in gesprek met bestaande teams en teamleden en positioneren hun waardevolle rollen en expertise binnen een Data Mesh-teamorganisatie. Meestal zijn hierbij platformteams, domeinteams, faciliterende teams en een gefedereerd governanceteam betrokken. Daarnaast onderzoeken we de verschillende gebruikerstrajecten en ervaringen voor elke persona, om ervoor te zorgen dat Data Mesh een positieve invloed heeft op de organisatie, haar mensen en hun rollen. Uitdaging 3: De technische architectuur opzetten Het invoeren van Data Mesh is een transformerend traject voor elke organisatie. Door de uitdagingen op te splitsen in uitvoerbare stappen, zoals ACA Group doet, kan je Data Mesh tastbaarder maken, de waarde ervan verduidelijken en de oplossing afstemmen op de doelstellingen van je organisatie. Deze incrementele acties dienen om het mysterie weg te nemen rond Data Mesh, waardoor het begrijpelijk wordt voor een breed scala aan stakeholders en het pad wordt geëffend voor goed geïnformeerde beslissingen. Het omarmen van Data Mesh betekent het omarmen van de toekomst van datamanagement, en biedt een scala aan opportuniteiten voor je organisatie. Dit traject gaat over het praktisch realiseren van Data Mesh en tegelijkertijd zorgen voor afstemming op je organisatiedoelstellingen. Conclusie Het invoeren van Data Mesh is een transformerend traject voor elke organisatie. Door de uitdagingen op te splitsen in uitvoerbare stappen, zoals ACA Group doet, kan je Data Mesh tastbaarder maken, de waarde ervan verduidelijken en de oplossing afstemmen op de doelstellingen van je organisatie. Deze incrementele acties dienen om het mysterie weg te nemen rond Data Mesh, waardoor het begrijpelijk wordt voor een breed scala aan stakeholders en het pad wordt geëffend voor goed geïnformeerde beslissingen. Het omarmen van Data Mesh betekent het omarmen van de toekomst van datamanagement, en biedt een scala aan opportuniteiten voor je organisatie. Dit traject gaat over het praktisch realiseren van Data Mesh en tegelijkertijd zorgen voor afstemming op je organisatiedoelstellingen. Nieuwsgierig naar wat Data Mesh nog meer te bieden heeft? Ontdek het hier ✅

Leestijd 4 min

Stijn Vandereyken

Je bent misschien wel bekend met de term 'data mesh'. Het is een van die modewoorden over data die al een tijdje de ronde doen. Hoewel data mesh het potentieel heeft om een organisatie in heel wat situaties veel waarde te bieden, moeten we ons niet blind staren op alle mooie terminologie. Als je een goede datastrategie wilt ontwikkelen, doe je er goed aan om jezelf eerst de volgende vragen te stellen: wat is de uitdaging die we met data willen aangaan? En hoe kan een oplossing bijdragen aan het bereiken van onze bedrijfsdoelstellingen? Er is zeker niets nieuws aan het gebruik van data door organisaties, maar we hebben wel een lange weg afgelegd. Aanvankelijk verzamelden bedrijven gegevens uit verschillende systemen in een datawarehouse. Het nadeel was dat het databeheer door een centraal team werd gedaan en dat de doorlooptijd van rapporten ernstig opliep . Bovendien moesten deze data engineers een goed begrip hebben van het hele bedrijf. In de jaren die volgden, zorgde de opkomst van sociale media ervoor dat de hoeveelheid gegevens als paddenstoelen uit de grond schoten, wat op zijn beurt leidde tot de term Big Data. Als gevolg hiervan werden tools ontwikkeld om enorme hoeveelheden gegevens te analyseren, waarbij de focus steeds meer verschoof naar selfservice. Deze laatste trend betekent nu dat het bedrijf zelf steeds beter in staat is om op eigen kracht met gegevens om te gaan. En dat brengt weer een nieuwe uitdaging met zich mee: zoals vaak het geval is, zijn we niet in staat om technologie los te koppelen van de processen in het bedrijf of van de mensen die deze gegevens gebruiken. Zijn deze mensen klaar om gegevens te gaan gebruiken? Hebben ze de juiste vaardigheden en heb je nagedacht over het soort vaardigheden dat je morgen nodig zult hebben? Wat zijn de doelen van het bedrijf en hoe kunnen werknemers bijdragen aan het bereiken ervan? Het menselijke aspect is een cruciaal onderdeel van elke krachtige datastrategie. Hoe maak je het verschil met data? In de praktijk blijkt dat veel bedrijven op het gebied van datastrategieën niet verder zijn gekomen dan een paar jaar geleden. Onnodig te zeggen dat dit nauwelijks een solide basis is om door te gaan naar de volgende stap. Laten we ons daarom richten op enkele van de belangrijkste elementen in een datastrategie: Gegevens moeten aanzetten tot actie: het is niet genoeg om alleen maar een paar cijfers te vergelijken; een kwalitatief hoogstaand rapport leidt tot een beslissing of moet op zijn minst duidelijk maken welke actie nodig is. Sharing is caring: als je toch gegevens hebt, waarom zou je ze dan niet delen? Niet alleen met je eigen interne afdelingen, maar ook met de buitenwereld. Als je erin slaagt om gegevens weer beschikbaar te maken voor de klant, is er een echt concurrentievoordeel te behalen. Visualiseren: gegevens worden vaak verzameld in slecht georganiseerde tabellen zonder goede lay-out. Studies tonen aan dat het menselijk brein moeite heeft om dit soort tabellen te lezen. Door gegevens te visualiseren (bijvoorbeeld met GeoMapping) kun je tot inzichten komen waar je eerder niet aan had gedacht. Verbind datasets: in het geval van datasets moet 1+1 altijd gelijk zijn aan 3. Als je bijvoorbeeld de effectiviteit van een marketingcampagne meet, kijk dan niet alleen naar het aantal kliks. De echte toegevoegde waarde zit in het correleren van de gegevens die je hebt met gegevens over het bedrijf, zoals (toegenomen) verkoopcijfers. Maak gegevens transparant: wees duidelijk over je bedrijfsdoelen en KPI's, zodat iedereen in de organisatie de gegevens kan gebruiken en zo kan bijdragen aan het behalen van een benchmark. Train mensen: zorg ervoor dat je mensen begrijpen hoe ze technologie moeten gebruiken, maar ook hoe gegevens hun taken kunnen vereenvoudigen en hoe gegevens bijdragen aan het behalen van de bedrijfsdoelen. Welk probleem wil je oplossen met data? Als je de basis eenmaal op orde hebt, kunnen we een stappenplan opstellen. Een oplossing mag nooit uitgaan van de gegevens zelf, maar moet altijd gekoppeld zijn aan een uitdaging of een doel. Daarom organiseert ACA Group altijd eerst een workshop om te achterhalen wat de doelstellingen van de klant zijn. Op basis van de uitkomst van deze workshop komen we tot een concrete probleemstelling, die ons op het juiste spoor zet om voor elke situatie een oplossing te vinden. De integratie van datasets zal in de nabije toekomst nog belangrijker worden, onder andere als onderdeel van duurzaamheidsrapportage. Om bedrijven zo goed mogelijk voor te bereiden en te begeleiden, zullen we in de loop van dit jaar met een reeks blogs dieper ingaan op enkele belangrijke terminologieën, methoden en uitdagingen rond gegevens. Bent u in de tussentijd benieuwd wat 'Data Mesh' precies inhoudt en waarom dit lonend kan zijn voor uw organisatie? {% module_block module "widget_1aee89e6-fefb-47ef-92d6-45fc3014a2b0" %}{% module_attribute "child_css" is_json="true" %}{% raw %}{}{% endraw %}{% end_module_attribute %}{% module_attribute "css" is_json="true" %}{% raw %}{}{% endraw %}{% end_module_attribute %}{% module_attribute "definition_id" is_json="true" %}{% raw %}null{% endraw %}{% end_module_attribute %}{% module_attribute "field_types" is_json="true" %}{% raw %}{"buttons":"group","styles":"group"}{% endraw %}{% end_module_attribute %}{% module_attribute "isJsModule" is_json="true" %}{% raw %}true{% endraw %}{% end_module_attribute %}{% module_attribute "label" is_json="true" %}{% raw %}null{% endraw %}{% end_module_attribute %}{% module_attribute "module_id" is_json="true" %}{% raw %}201493994716{% endraw %}{% end_module_attribute %}{% module_attribute "path" is_json="true" %}{% raw %}"@projects/aca-group-project/aca-group-app/components/modules/ButtonGroup"{% endraw %}{% end_module_attribute %}{% module_attribute "schema_version" is_json="true" %}{% raw %}2{% endraw %}{% end_module_attribute %}{% module_attribute "smart_objects" is_json="true" %}{% raw %}null{% endraw %}{% end_module_attribute %}{% module_attribute "smart_type" is_json="true" %}{% raw %}"NOT_SMART"{% endraw %}{% end_module_attribute %}{% module_attribute "tag" is_json="true" %}{% raw %}"module"{% endraw %}{% end_module_attribute %}{% module_attribute "type" is_json="true" %}{% raw %}"module"{% endraw %}{% end_module_attribute %}{% module_attribute "wrap_field_tag" is_json="true" %}{% raw %}"div"{% endraw %}{% end_module_attribute %}{% end_module_block %}

Leestijd 6 min

Tom De Wolf

In de afgelopen jaren heeft de exponentiële groei van gegevens geleid tot een toenemende vraag naar effectievere manieren om deze te beheren. Het opbouwen van een datagestuurd bedrijf blijft een van de belangrijkste strategische doelen van veel zakelijke belanghebbenden. En hoewel het logisch lijkt voor bedrijven om het idee van datagestuurd zijn te omarmen, is het veel moeilijker om dat idee uit te voeren. Data Mesh en Data Lakes zijn twee belangrijke concepten in de wereld van data-architecturen die samen kunnen zorgen voor een flexibele en schaalbare aanpak van datamanagement. Data Lakes hebben al bewezen een populaire oplossing te zijn, maar een nieuwere aanpak, Data Mesh, krijgt steeds meer aandacht. In deze blog duiken we in de twee concepten en onderzoeken we hoe ze elkaar kunnen aanvullen . Datameren Een data lake is een grote en centrale opslagplaats die enorme hoeveelheden gegevens bevat, uit verschillende bronnen en in verschillende gegevensformaten. Het kan gestructureerde, semigestructureerde en ongestructureerde gegevens opslaan (bijv. afbeeldingen). Zie het als een enorme plas water, waarin je allerlei soorten gegevens kunt opslaan, zoals klantgegevens, transactiegegevens, social media-feeds, afbeeldingen, video's en nog veel meer. Het is een kosteneffectieve en toegankelijke oplossing voor bedrijven die te maken hebben met grote gegevensvolumes en verschillende gegevensformaten . Bovendien stellen data lakes teams in staat om met ruwe data te werken , zonder dat uitgebreide voorbewerking of normalisatie nodig is. Data Mesh Data Mesh is een relatief nieuw concept dat gegevensbeheer decentraal benadert . Het behandelt data als een product en wordt beheerd door autonome teams die verantwoordelijk zijn voor een bepaald domein. Data Mesh pleit ervoor dat gegevens eigendom zijn van en beheerd worden door de mensen die er het meeste verstand van hebben - de domeinexperts - en behandeld worden als een product. Dit betekent dat elk team verantwoordelijk is voor de kwaliteit, betrouwbaarheid en toegankelijkheid van de gegevens binnen zijn domein. Dit zorgt voor een meer schaalbare en flexibele benadering van datamanagement, waarbij teams zelfstandig beslissingen kunnen nemen over hun data, zonder dat er interventie nodig is van een gecentraliseerd datateam. Hoe kan data lake-technologie worden gebruikt in een data mesh-benadering? In het kort is Data Mesh een architectuur waarbij data eigendom is van en beheerd wordt door individuele productteams, waardoor een gedecentraliseerde aanpak van datamanagement ontstaat. Een data lake is een technologie die een gecentraliseerde opslagoplossing biedt, waardoor teams grote hoeveelheden gegevens kunnen opslaan en beheren zonder zich zorgen te hoeven maken over de structuur of het formaat van de gegevens. Decentralisatie in Data Mesh gaat over het nemen van verantwoordelijkheid voor het delen van gegevens als producten op een gedecentraliseerde manier. Het gaat niet om het opgeven van gecentraliseerde opslagoplossingen, zoals Data Lakes, maar om het gebruik ervan op een manier die voldoet aan de principes van Data Mesh. Data Mesh draait om het definiëren en beheren van Data Producten als een bouwsteen om data eenvoudig toegankelijk en herbruikbaar te maken voor verschillende use cases. Elk "Data Product" moet zijn gegevens op meerdere manieren kunnen aanbieden via verschillende uitvoerpoorten . Een uitvoerpoort is bedoeld om gegevens direct toegankelijk te maken voor een specifieke use case. Voorbeelden van use cases zijn analyse en rapportage, machine learning, real-time verwerking, enz. Daarom hebben meerdere soorten uitvoerpoorten overeenkomstige gegevenstechnologieën nodig die een specifieke toegangsmodus mogelijk maken. Een technologie die een Data Mesh-architectuur kan ondersteunen is een data lake. De gegevens in een uitvoerpoort voor een gegevensproduct kunnen worden opgeslagen in een data lake . Dit type uitvoerpoort krijgt dan alle voordelen die de data lake-technologie biedt. In een Data Mesh-architectuur krijgt elk dataproduct zijn eigen segment in het data lake (bijvoorbeeld een S3 Bucket). Dit segment fungeert als uitvoerpoort voor het dataproduct, waar het team dat verantwoordelijk is voor het dataproduct zijn gegevens naar het meer kan schrijven. Door het data lake op deze manier te segmenteren, kunnen teams hun eigen data beheren en beveiligen zonder zich zorgen te maken over conflicten met andere teams. Op deze manier wordt gedecentraliseerd eigenaarschap mogelijk, zelfs als er gebruik wordt gemaakt van een meer gecentraliseerde opslagtechnologie . Hoewel een data lake een belangrijke technologie is om een Data Mesh architectuur te ondersteunen, is het misschien niet de ideale oplossing voor elke use case . Het gebruik van een data lake als enige type dataopslagtechnologie kan de flexibiliteit van het Data Mesh-platform beperken, omdat het slechts één type opslag biedt. Als het bijvoorbeeld gaat om business intelligence en rapportage, kan een datawarehousetechnologie met tabelvormige opslag geschikter zijn. Een ander voorbeeld is wanneer tijdreeksdatabases of grafiekdatabases een betere optie zijn vanwege het type gegevens dat we direct herbruikbaar willen maken. Om het Data Mesh-platform flexibeler te maken, moet het de mogelijkheid bieden om verschillende soorten gegevensopslagtechnologie in te pluggen . Elk daarvan is een ander type uitvoerpoort. Op deze manier kan elk gegevensproduct zijn eigen uitvoerpoorten hebben, met verschillende soorten gegevensopslagtechnologieën, gericht op specifieke gebruikspatronen van gegevens. We hebben gemerkt dat cloudleveranciers vaak aanbevelen om een Data Mesh-oplossing te implementeren met behulp van een van hun bestaande data lake-services . Meestal bestaat hun aanpak uit het definiëren van beveiligingsgrenzen om segmenten binnen deze services te scheiden, die eigendom kunnen zijn van verschillende domeinen om verschillende dataproducten te maken. De referentiearchitecturen die ze leveren bevatten echter maar één opslagtechnologie , namelijk hun eigen data lake-technologie. Bijgevolg is het resulterende Data Mesh-platform minder aanpasbaar en gebonden aan één enkele technologie. Wat ontbreekt is een expliciete 'Data Product' abstractie die verder gaat dan alleen het afdwingen van beveiligingsgrenzen en die de integratie van verschillende dataopslagtechnologieën en -oplossingen mogelijk maakt. Conclusie Datamanagement is een cruciaal onderdeel van elke organisatie. Er zijn verschillende technologieën en benaderingen beschikbaar, zoals data lakes, data warehouses, data vaults, tijdreeksdatabases, grafiekdatabases, enz. Ze hebben allemaal hun unieke sterke punten en beperkingen. Uiteindelijk biedt een succesvolle Data Mesh-architectuur de flexibiliteit om gegevens te delen en te hergebruiken met de juiste technologie voor de juiste use case . Hoewel een data lake een krachtig hulpmiddel is voor het beheren van ruwe data, is het misschien niet de beste oplossing voor alle soorten datagebruik. Door verschillende soorten dataopslagtechnologieën te overwegen, kunnen teams de oplossing kiezen die het beste aansluit bij hun specifieke behoeften en hun workflows voor datamanagement optimaliseren. Door dataproducten in een Data Mesh te gebruiken, kunnen teams een flexibele en schaalbare architectuur creëren die zich kan aanpassen aan veranderende behoeften op het gebied van datamanagement . Meer weten over Data Mesh of Data Lakes? {% module_block module "widget_9cdc4a9f-7cb9-4bf2-a07a-3fd969809937" %}{% module_attribute "buttons" is_json="true" %}{% raw %}[{"appearance":{"link_color":"light","primary_color":"primary","secondary_color":"primary","tertiary_color":"light","tertiary_icon_accent_color":"dark","tertiary_text_color":"dark","variant":"primary"},"content":{"arrow":"right","icon":{"alt":null,"height":null,"loading":"disabled","size_type":null,"src":"","width":null},"tertiary_icon":{"alt":null,"height":null,"loading":"disabled","size_type":null,"src":"","width":null},"text":"Discover data mesh"},"target":{"link":{"no_follow":false,"open_in_new_tab":false,"rel":"","sponsored":false,"url":{"content_id":null,"href":"","href_with_scheme":"","type":"CONTENT"},"user_generated_content":false}},"type":"normal"}]{% endraw %}{% end_module_attribute %}{% module_attribute "child_css" is_json="true" %}{% raw %}{}{% endraw %}{% end_module_attribute %}{% module_attribute "css" is_json="true" %}{% raw %}{}{% endraw %}{% end_module_attribute %}{% module_attribute "definition_id" is_json="true" %}{% raw %}null{% endraw %}{% end_module_attribute %}{% module_attribute "field_types" is_json="true" %}{% raw %}{"buttons":"group","styles":"group"}{% endraw %}{% end_module_attribute %}{% module_attribute "isJsModule" is_json="true" %}{% raw %}true{% endraw %}{% end_module_attribute %}{% module_attribute "label" is_json="true" %}{% raw %}null{% endraw %}{% end_module_attribute %}{% module_attribute "module_id" is_json="true" %}{% raw %}201493994716{% endraw %}{% end_module_attribute %}{% module_attribute "path" is_json="true" %}{% raw %}"@projects/aca-group-project/aca-group-app/components/modules/ButtonGroup"{% endraw %}{% end_module_attribute %}{% module_attribute "schema_version" is_json="true" %}{% raw %}2{% endraw %}{% end_module_attribute %}{% module_attribute "smart_objects" is_json="true" %}{% raw %}null{% endraw %}{% end_module_attribute %}{% module_attribute "smart_type" is_json="true" %}{% raw %}"NOT_SMART"{% endraw %}{% end_module_attribute %}{% module_attribute "tag" is_json="true" %}{% raw %}"module"{% endraw %}{% end_module_attribute %}{% module_attribute "type" is_json="true" %}{% raw %}"module"{% endraw %}{% end_module_attribute %}{% module_attribute "wrap_field_tag" is_json="true" %}{% raw %}"div"{% endraw %}{% end_module_attribute %}{% end_module_block %}