Leestijd 7 min

Jan Eerdekens

In deze technische blogpost wil ik het hebben over hoe je eenvoudige en flexibele ETL-gebaseerde anonimisering kunt opzetten. Waarom? Wel, ik had onlangs de gelegenheid om een klein proof of concept uit te voeren voor een klant. De klant wilde weten welke opties beschikbaar waren om interne gegevens te nemen, alle persoonlijk identificeerbare informatie (PII) te verwijderen of anonimiseren en deze op een eenvoudige manier en vorm beschikbaar te maken voor externe partijen. Na het verzamelen van verdere vereisten werd de context voor dit proof of concept als volgt gedefinieerd: Welke oplossing dan ook, het moet in staat zijn om gegevens te extraheren uit een on premise Oracle database . Het eindresultaat moet een set CSV-bestanden zijn in een Amazon S3-bucket . Tussen het ophalen van de Oracle-gegevens en het dumpen ervan in CSV-vorm op S3, moet er iets zijn dat PII-gegevens verwijdert/anonimiseert. Indien mogelijk moet de gekozen oplossing cloud native zijn. In deze 3-delige blogreeks leg ik uit hoe je eenvoudige en flexibele ETL-gebaseerde anonimisering opzet: Het onderzoek naar producten die gebruikt zouden kunnen worden om het probleem op te lossen. Controleer ook hoe geschikt ze zijn voor wat de proof of concept moet bereiken. Hoe het gekozen product gebruikt kan worden om een ETL pipeline te maken die aan de eisen voldoet. Daarnaast, hoe je een lokale Oracle database opzet in Docker die gebruikt kan worden als databron voor het data ingestion deel van het proof of concept (gewoon omdat dit zo'n PITA was om te doen). En of dit op een cloud native manier kan worden gedaan. Onderzoek Het onderzoeksdeel van het proof of concept bestaat uit 2 delen: Hoe haal je data uit een Oracle database, anonimiseer je het op de een of andere manier en sla je het op als een stel CSV bestanden in een S3 bucket aka het ETL gedeelte. Uitzoeken wat de beste manier is om de anonimisering uit te voeren. De gegevens extraheren, transformeren en opslaan Het probleem van de klant klonk meteen al opmerkelijk als iets dat je zou kunnen oplossen met een ETL-product: Extract Transform Load . Het onderzoeksgedeelte voor dit deel van het proof of concept zou zich dus concentreren op dit type product. Ik kreeg ook wat input van iemand in mijn team om eens te kijken naar singer.io , omdat dat iets was dat ze in het verleden met succes hadden gebruikt voor dit soort problemen. Als je naar de homepage van Singer kijkt, vallen een aantal dingen meteen op: Singer maakt gegevensextractie en -consolidatie mogelijk voor alle tools van je organisatie. De open-source standaard voor het schrijven van scripts die gegevens verplaatsen. Unix-geïnspireerd: Singer taps en targets zijn eenvoudige applicaties samengesteld met pipes. JSON-gebaseerd: Singer-toepassingen communiceren met JSON, waardoor ze eenvoudig te gebruiken en te implementeren zijn in elke programmeertaal. Singer is dus gewoon een specificatie, zij het geen officiële. Het is een eenvoudig, op JSON gebaseerd dataformaat en je kunt iets in dit formaat produceren (een tap in Singer terminologie) of het formaat consumeren (een target ). Je kunt deze taps en targets aan elkaar koppelen om gegevens van de ene locatie te halen en op een andere locatie op te slaan. Singer wordt standaard geleverd met een heleboel taps (meer dan 100) en targets (10). Deze taps en targets zijn geschreven in Python. Omdat het centrale punt van het systeem slechts een gegevensformaat is, is het vrij eenvoudig om er zelf een te schrijven of een bestaand formaat aan te passen. Bij het controleren van de taps zou de standaard Oracle-tap het Extract-gedeelte van ons proof of concept moeten dekken. Hetzelfde lijkt echter niet het geval te zijn voor het Load gedeelte als we kijken naar de standaard targets. Er is een CSV target , maar deze slaat de resultaten lokaal op, niet in een S3 bucket. Er is een optie om gewoon dit doel te gebruiken en de S3 upload zelf te doen nadat de ETL pijplijn is voltooid. Een andere optie zou zijn om het bestaande CSV target aan te passen en de bestandsopslag te veranderen naar S3. Even Googelen levert een door de gemeenschap gemaakt S3 CSV Singer doel op. Volgens de documentatie zou dit target precies moeten doen wat we willen. Oeps, Singer transformeert niet Met de Extract en Load delen gedekt, blijft alleen het Transform deel van de ETL pijplijn over om uit te zoeken... en dit is waar het een beetje vreemd wordt. Ook al is Singer geclassificeerd als een ETL tool, het lijkt geen ondersteuning te hebben voor het transformatie gedeelte? Toen ik hier verder naar keek, kwam ik deze onheilspellend getitelde post tegen: Why our ETL tool does not do transformations . Als ik dit lees, lijkt het erop dat ze hun JSON specificatie/gegevensformaat beschouwen als het transformatiegedeelte. Dus ze ondersteunen transformatie naar ruwe gegevens en het opslaan ervan, maar ondersteunen geen andere soorten transformaties. Dat deel mag je zelf doen nadat het ergens is opgeslagen door een Singer-doel. Het blijkt dus dat Singer meer lijkt op het EL deel van een ELT product dan op een "old school" ETL product . Op dit punt zou Singer in ieder geval voldoende moeten zijn om de gegevens uit een Oracle database te halen en in CSV-formaat in een S3 bucket te zetten. En omdat Singer vrij eenvoudig, open en uitbreidbaar is, laat ik het hier voorlopig bij. Laten we verder kijken naar de anonimiseringsopties die in deze Singer-context zouden kunnen passen. Gegevens anonimiseren Net als bij het ETL-gedeelte, kreeg ik ook voor dit gedeelte wat input die me wees op Microsoft Presidio . Op de homepage kunnen we het volgende lezen: Het biedt snelle identificatie- en anonimiseringsmodules voor privé-entiteiten in tekst en afbeeldingen , zoals creditcardnummers, namen en meer. Het faciliteert zowel volledig geautomatiseerde als semi-geautomatiseerde PII de-identificatiestromen op meerdere platforms. Aanpasbaarheid in PII-identificatie en -anonimisering. Er staan dus veel veelbelovende dingen in die me zouden kunnen helpen bij het oplossen van mijn anonimiseringsbehoeften. Bij nader onderzoek lijkt het erop dat ik dit product evalueer tijdens een grote transformatie (snap je? 😉 ) van V1 naar V2. V1 bevatte wat ETL-achtige dingen zoals het ophalen van gegevens uit bronnen (hoewel Oracle-ondersteuning in de roadmap nooit lijkt te zijn gerealiseerd ) en het opslaan van geanonimiseerde resultaten in een aantal vormen/locaties. V2 heeft deze aanpak echter volledig losgelaten en concentreert zich puur op het detecteren en vervangen van PII-gegevens. In de kern is Presidio V2 een op Python gebaseerd systeem dat bovenop een AI-model is gebouwd. Dit stelt het in staat om automatisch PII-gegevens te ontdekken in tekst en afbeeldingen en deze te vervangen volgens de regels die je definieert. Ik heb wat tests gedaan met behulp van hun online testtool en het werkt min of meer, maar voor onze specifieke context moet het zeker worden aangepast. Als we kijken naar de meegeleverde testgegevens, lijkt het erop dat het vooral eenvoudige en korte gegevens zijn, maar geen grote tekstblokken of afbeeldingen. Dit roept de vraag op: zelfs als we Presidio kunnen configureren om te doen wat we willen, slaan we misschien kleine spijkers met een grote hamer? Is Presidio te veel? Laten we hier nog eens over nadenken. Als we gemakkelijk kunnen weten en definiëren welke eenvoudige kolommen in welke tabellen moeten worden geanonimiseerd en wanneer gewoon nulling of hashing van de kolomwaarden voldoende is, dan hebben we het autodetectie deel van Presidio niet nodig. We hebben ook geen Presidio-ondersteuning nodig voor volledige tekst of afbeeldingen en we hebben ook geen fancy substitutie-ondersteuning nodig. Presidio zou een krachtige bibliotheek kunnen zijn om een automatische anonimiseringsstap te maken voor onze Singer-gebaseerde pijplijn. Het helpt ook dat Presidio gebaseerd is op Python. Maar mijn gevoel zegt dat ik misschien eerst moet proberen om een iets eenvoudigere oplossing te vinden. Ik begon te zoeken naar iets dat een eenvoudige PII-vervanging kan doen en dat werkt in een Singer tap/target context. Ik vond deze Github repository: pipelinewise-transform-field . In de documentatie staat "Transformatiecomponent tussen Singer taps en targets". Klinkt verdacht veel als het " T " deel dat Singer als een ETL miste! Verderop in de configuratiesectie lezen we zelfs: "Je moet definiëren welke kolommen door welke methode moeten worden getransformeerd en in welke conditie de transformatie moet worden toegepast." en de mogelijke transformatietypes zijn: SET-NULL : transformeert elke invoer naar NULL HASH : transformeert stringinvoer naar hash HASH-SKIP-FIRST-n : Transformeert stringinvoer naar hash waarbij de eerste n tekens worden overgeslagen, bijv. HASH-SKIP-FIRST-2 MASK-DATE : Vervangt de maand- en dagdelen van datumkolommen door 1 jan. MASK-NUMBER : Zet elke numerieke waarde om in nul. MASK-HIDDEN : verandert een willekeurige tekenreeks in 'verborgen'. Dit lijkt volledig te voldoen aan onze eenvoudige anonimiseringseisen! We kunnen zelfs zien hoe we het moeten gebruiken in de context van Singer: some-singer-tap | transform-field --config [config.json] | some-singer-target Standaard Conclusie We hebben nu alle stukjes van de puzzel voor het opzetten van eenvoudige en flexibele ETL-gebaseerde anonimisering. In de volgende blogpost laten we zien hoe ze in elkaar passen en of ze de resultaten opleveren die de klant zoekt.

Leestijd 3 min

Tom De Wolf

Maak het concreet voor alle belanghebbenden Data Mesh wordt vaak gezien als iets zeer abstract en theoretisch, waardoor belanghebbenden onzeker zijn over de precieze implicaties en mogelijke oplossingen ervan. Daarom willen we het bij ACA Group zo concreet mogelijk maken voor business stakeholders, technische stakeholders en andere belanghebbenden in de organisatie. Wij raden aan om drie belangrijke uitdagingen tegelijkertijd aan te pakken: IDENTIFICEER BEDRIJFSWAARDE – Definieer hoe Data Mesh exact bijdraagt ​​aan de bedrijfswaarde door data als een product te beschouwen. ORGANISEER TEAMS – Specificeer de rol van elk team, teamlid en persona binnen de context van Data Mesh. BUILD PLATFORM – Laat zien hoe data mesh de technische architectuur beïnvloedt. Uitdaging 1: De bedrijfswaarde van Data Mesh identificeren Een van de eerste uitdagingen bij de introductie van Data Mesh is het uitleggen en bewijzen van de waarde voor de business. Bij ACA Group beginnen we met het identificeren van potentiële dataproducten, domeinen en use cases. Dit proces is gebaseerd op zakelijke input en resulteert in een dataproductlandschap. De figuur hieronder geeft een voorbeeld vanuit een e-commerce bedrijf (rechthoeken zijn applicaties, hexagonen zijn data producten, kleuren geven domeinen die ownership nemen). Dit landschap dient als navigatiekaart, inspireert nieuwe innovatieve zakelijke ideeën en laat de meerwaarde zien die Data Mesh voor de organisatie kan bieden. Door te laten zien hoe Data Mesh nieuwe mogelijkheden kan creëren, verduidelijken we de relevantie ervan voor zakelijke belanghebbenden. Data Mesh Oplossingen Afstemmen op Organisatiedoelen Om het maximale uit Data Mesh te halen, is afstemming op de algemene doelstellingen en strategie van de organisatie van het grootste belang. Het is cruciaal om ervoor te zorgen dat de investering in technologie en processen aansluit bij de bredere bedrijfsdoelstellingen. Door deze afstemming blijft de steun en het momentum behouden, wat cruciaal is voor het succes van een Data Mesh-initiatief. Data Mesh Opportuniteiten Identificeren met Gamestorming Bij ACA Group passen we gamestorming-technieken toe om domeinen en dataproducten te ontdekken. Dit proces begint met de identificatie van business mogelijkheden en datagebruiksscenario's. Dat doen we aan de hand van workshops, zoals het in kaart brengen van de impact. Door Data Mesh op deze aspecten af ​​te stemmen, identificeren we een dataproductlandschap vanuit twee perspectieven. Een inventarisatie van beschikbare data en potentiële dataproducten inspireert en genereert nieuwe zakelijke ideeën, terwijl de gewenste zakelijke impact en doelstellingen helpen bij het identificeren van de benodigde data en dataproducten. Uitdaging 2: Teams Organiseren en Individuen Empoweren Data Mesh gaat niet alleen over technologie; het gaat over het transformeren van de manier waarop teams en teamleden binnen de organisatie opereren. ACA Group gelooft in het effectief organiseren van teams om de kracht van Data Mesh te benutten. We gaan in gesprek met bestaande teams en teamleden en positioneren hun waardevolle rollen en expertise binnen een Data Mesh-teamorganisatie. Meestal zijn hierbij platformteams, domeinteams, faciliterende teams en een gefedereerd governanceteam betrokken. Daarnaast onderzoeken we de verschillende gebruikerstrajecten en ervaringen voor elke persona, om ervoor te zorgen dat Data Mesh een positieve invloed heeft op de organisatie, haar mensen en hun rollen. Uitdaging 3: De technische architectuur opzetten Het invoeren van Data Mesh is een transformerend traject voor elke organisatie. Door de uitdagingen op te splitsen in uitvoerbare stappen, zoals ACA Group doet, kan je Data Mesh tastbaarder maken, de waarde ervan verduidelijken en de oplossing afstemmen op de doelstellingen van je organisatie. Deze incrementele acties dienen om het mysterie weg te nemen rond Data Mesh, waardoor het begrijpelijk wordt voor een breed scala aan stakeholders en het pad wordt geëffend voor goed geïnformeerde beslissingen. Het omarmen van Data Mesh betekent het omarmen van de toekomst van datamanagement, en biedt een scala aan opportuniteiten voor je organisatie. Dit traject gaat over het praktisch realiseren van Data Mesh en tegelijkertijd zorgen voor afstemming op je organisatiedoelstellingen. Conclusie Het invoeren van Data Mesh is een transformerend traject voor elke organisatie. Door de uitdagingen op te splitsen in uitvoerbare stappen, zoals ACA Group doet, kan je Data Mesh tastbaarder maken, de waarde ervan verduidelijken en de oplossing afstemmen op de doelstellingen van je organisatie. Deze incrementele acties dienen om het mysterie weg te nemen rond Data Mesh, waardoor het begrijpelijk wordt voor een breed scala aan stakeholders en het pad wordt geëffend voor goed geïnformeerde beslissingen. Het omarmen van Data Mesh betekent het omarmen van de toekomst van datamanagement, en biedt een scala aan opportuniteiten voor je organisatie. Dit traject gaat over het praktisch realiseren van Data Mesh en tegelijkertijd zorgen voor afstemming op je organisatiedoelstellingen. Nieuwsgierig naar wat Data Mesh nog meer te bieden heeft? Ontdek het hier ✅

Leestijd 4 min

Marnick Vanloffelt

De wereld van gegevensanalyse verandert snel. AI-tools zoals Copilot automatiseren taken die ons vroeger uren kostten, en dat is opwindend! Maar het betekent ook dat we onze vaardigheden moeten ontwikkelen om de curve voor te blijven. In plaats van tijd te besteden aan repetitieve taken, kunnen data-analisten zich nu richten op het grotere geheel: strategie, het oplossen van problemen en het echt begrijpen van de business. Deze blog onderzoekt de belangrijkste vaardigheden die data-analisten nodig hebben om te gedijen in deze nieuwe, door AI aangedreven omgeving. De nieuwe focus van de data-analist: van repetitieve taken naar strategie Stel je voor dat je meer tijd hebt om je te richten op wat echt belangrijk is: de business begrijpen, complexe problemen oplossen en strategische beslissingen nemen. Dat is de kans die AI biedt. Om het potentieel van Copilot te maximaliseren, moeten data-analisten hun focus verleggen van handmatige taken naar werk dat diepgaande bedrijfskennis en kritisch denken vereist. Een cruciaal onderdeel van deze verschuiving is nauwe samenwerking met belanghebbenden. Data-analisten moeten hun uitdagingen begrijpen, de juiste vragen definiëren en ervoor zorgen dat hun inzichten de besluitvorming echt sturen. Belangrijkste vaardigheden die data-analisten nodig hebben bij het werken met AI 1. Geavanceerde datamodellering en metadatabeheer Waarom het belangrijk is: Nu AI-tools zoals Copilot een groot deel van de front-end rapportcreatie voor hun rekening nemen, zal de kwaliteit van de inzichten steeds meer afhangen van de robuustheid van het onderliggende datamodel. Data-analisten moeten tijd investeren in het verfijnen van hun vaardigheden op het gebied van datamodellering en metadatamanagement. Mogelijke stappen: Zorg ervoor dat datamodellen schoon, schaalbaar en goed gedocumenteerd zijn. Wees eerlijk, hoe vaak heb je het veld "Beschrijving" ingevuld in je Power BI-datamodel? Hoe vaak heb je het veld "Synoniemen" gebruikt? Onze gok is: niet zo vaak. Ironisch genoeg zullen deze velden nu cruciaal zijn in je streven naar kwalitatieve antwoorden van Copilot... Je zult metadata moeten organiseren om de vindbaarheid te verbeteren, zodat Copilot (of andere AI-tools) de juiste gegevens kunnen gebruiken om inzichten te genereren. Zorg dat je goed begrijpt hoe je data moet structureren zodat AI bruikbare, accurate inzichten kan genereren. Kijk goed naar je datamodel en hoe het is opgebouwd. Bepaal wat er kan worden verbeterd op basis van best practices en pas deze vervolgens systematisch toe. 2. Datagovernance en kwaliteitsborging Waarom het belangrijk is: Copilot kan alleen betrouwbare output produceren met data van hoge kwaliteit. Data-analisten zullen zich moeten richten op het waarborgen van dataconsistentie, betrouwbaarheid en governance. Te nemen stappen: Implementeer en onderhoud best practices voor data governance. Gebruik duidelijke naamgevingsconventies, vooraf gedefinieerde maatregelen en logische datastructuren die het Copilot makkelijker maken om bruikbare inzichten te genereren. 3. Zakelijk inzicht en strategische inzichten genereren Waarom het belangrijk is: AI-tools missen contextueel begrip, dus moeten data-analisten deze kloof overbruggen. Door een goed begrip te ontwikkelen van bedrijfsactiviteiten, trends in de sector en strategische doelstellingen kunnen analisten inzichten creëren die zowel relevant als impactvol zijn. Mogelijke stappen: Investeer in kennis over de doelen en strategische uitdagingen van uw organisatie. Hoe beter u deze doelen en uitdagingen kunt begrijpen en documenteren, hoe beter u ze kunt vertalen naar relevante inzichten. Ga regelmatig de dialoog aan met bedrijfsleiders om de context achter de gegevens te begrijpen, wat op zijn beurt helpt bij het vertalen van bevindingen in bruikbare strategieën. 4. Communicatieve vaardigheden en storytelling Waarom het belangrijk is: Het vertalen van technische inzichten naar verhalen die aanslaan bij zakelijke belanghebbenden is cruciaal. Storytelling overbrugt de kloof tussen data en besluitvormers. Mogelijke stappen: Word een expert in het framen van de inzichten. Werk aan het presenteren van gegevens in verhalende formats die het "waarom" en "hoe" achter de inzichten benadrukken. Concentreer je op hoe de gegevens aansluiten bij de doelstellingen van het bedrijf en bied duidelijke aanbevelingen en visualisaties die belanghebbenden gemakkelijk kunnen begrijpen. Hoe deze vaardigheden te implementeren: praktische acties voor data-analisten Datamodellering en metadatabeheer ontwikkelen Met AI-tools zoals Copilot in de mix, is de kwaliteit van inzichten sterk afhankelijk van datamodellen. Data-analisten moeten tijd besteden aan het verfijnen van hun vaardigheden op het gebied van datamodellering, waarbij ze zich moeten richten op: Het organiseren en documenteren van data: Besteed aandacht aan metadatavelden zoals beschrijvingen en synoniemen, die AI zullen helpen nauwkeurigere outputs te genereren. Optimalisatie van gegevensstructuren : Zorg ervoor dat je datastructuur schaalbaar, schoon en flexibel is. Hierdoor kan Copilot naadloos met de gegevens werken. Samenwerken met zakelijke belanghebbenden AI-gegenereerde inzichten zijn alleen zo waardevol als ze overeenkomen met de bedrijfsdoelen. Data-analisten moeten regelmatig in gesprek gaan met belanghebbenden om: Duidelijke doelstellingen te definiëren: Doelstellingen en pijnpunten te bespreken met belanghebbenden om een duidelijke richting te bepalen voor AI-analyse. Feedback te verzamelen: Regelmatige feedback helpt bij het aanpassen van AI-gegenereerde inzichten om beter te voldoen aan bedrijfsbehoeften, zodat de output praktisch en bruikbaar is. Conclusie: de toekomst van data-analyse is hier AI-tools zoals Copilot transformeren data-analyse en het is een spannende tijd om op dit gebied actief te zijn! Door zich te richten op strategisch denken, communicatie en een sterke basis voor data, kunnen data-analisten zich niet alleen aanpassen, maar zich ook ontwikkelen. Het vermogen om data-inzichten te verbinden met de bedrijfscontext, gecombineerd met uitstekende communicatie en storytelling, zal de meest succesvolle data-analisten de komende jaren kenmerken. Door in deze vaardigheden te investeren, kunnen data-analisten in de voorhoede van datagestuurde innovatie blijven. Lees het artikel "How Copilot in Power BI is Transforming Data Analysis" voor meer informatie over hoe Copilot data-analyse vormgeeft . 🚀 Klaar om je datateam te voorzien van geavanceerde AI-vaardigheden? Neem contact op met onze experts om je transformatie te ondersteunen.