In de eerste reeks van deze serieover op ETL gebaseerd anonimisatie is het onderzoeksgedeelte van het probleem dat ik probeerde op te lossen, behandeld in een proof of concept. Ik besloot Singerte gebruiken als softwareoplossing om een ETL-pijplijn te ontwikkelen. In het tweede gedeelte komen de configuratie van Singer aan bod, de geselecteerde taps en targets en de verbinding daartussen.
Als een kleine nevenzoektocht zal ik ook behandelen hoe je een Oracle database lokaal kunt draaien als de database waarmee de Singer Oracle Tap verbinding kan maken en de problemen die ik daarmee had.
Het eerste wat we moeten doen om te beginnen met het maken van de ETL pijplijn is Singer installeren. Singer is eigenlijk gewoon een verzameling taps en targets. Dit is niets meer dan eenvoudige Python code die datastromen produceert in het Singer JSON spec formaat die in elkaar gepiped kunnen worden. De enigeinstallatievereiste isdus een werkendePython 3 installatieop je systeem. Voer het onderstaande commando uit om te zien of Python 3 al correct is geïnstalleerd:
Als dit werkt en een 3.x versie oplevert, dan ben je al klaar. Als dit niet werkt of een 2.x versie oplevert, dan moet je eerst Python 3 installeren. Instructies over hoe dit te doen voor jouw besturingssysteem kun je gemakkelijk vinden door te Googlen.
We gebruiken een Oracle database die we draaien als een Docker container. Ik heb heel wat tests moeten doorstaan om dit voor elkaar te krijgen, waarover jeaan het einde van deze post kunt lezen.
Voorlopig gaan we ervan uit dat er een Oracle database draait oplocalhost:1521 meteen SID genaamdOraDoc. In deze database is er een schema genaamdETL eneen gebruiker genaamdetl. In dit schema hebben we een heel eenvoudige testtabel genaamdTEST metde structuur die je hieronder ziet en een paar rijen met daadwerkelijke testgegevens:
Met een werkende Python 3 installatie kunnen we nu verder met de eerste stap van onze ETL pijplijn: de invoer van Oracle database gegevens door de SingerOracle Tap.
Hoewel de taps en targets gewoon Python code zijn, gebruikt de Oracle Tap decx_Oracle bibliotheekals database driver. Deze bibliotheek heeft een native Oracle database client nodig, genaamdOracle Instant Client, om verbinding te kunnen maken met de database. Volg dezeinstallatie-instructies om de client te installeren.
Als deze client geïnstalleerd is, kunnen we verder gaan met het opzetten van de eigenlijke Oracle Tap. Het installeren ervan houdt niets meer in dan het aanmaken van eenPython Virtuele Omgeving, deze activeren en vervolgens de tap-afhankelijkheid installeren viapip. Voor de Oracle Tap kan dat met deze commando's:
Zodra de tap is geïnstalleerd en de virtuele omgeving is geactiveerd, is het commandotap-oracle beschikbaar:
Uit het bericht dat we krijgen als we de tap gewoon proberen te draaien, kunnen we zien dat de tap wat configuratie nodig heeft voordat hij echt kan werken. Deze configuratie is niets meer dan een eenvoudig JSON-bestand dat de informatie bevat over de databaseverbinding en enkele andere parameters om te definiëren hoe de database zal worden gesynchroniseerd. Om het eenvoudig te houden, maken we dit bestand,config.json genaamd, aan in debin directoryvan onzetap-oracle virtueleomgeving met de onderstaande inhoud:
De eerste 5 configuratieparameters zijn verplicht en spreken voor zich, behalve misschien de laatste twee:
Met deze configuratie zijn we klaar om de tap indiscovery mode te draaien. In deze modus gebruikt de tap het configuratiebestand om verbinding te maken met de database en de geselecteerde schema's te bevragen over de beschikbare tabellen en hun structuur. We moeten deze gegevens, genaamd de catalogus, opslaan in een ander JSON-bestand. Om dit bestand,catalog.json, aan te maken, voer je het onderstaande commando uit vanuit debin directory van detap-oracle virtuele omgeving:
Als je de tap uitvoert met de configuratie en de catalogus, zul je zien dat er niets wordt gesynchroniseerd:
Om de tap daadwerkelijk iets te laten synchroniseren, bewerk je het catalogusbestand een beetje door destreamste selecteren die je wilt synchroniseren:
Als je nu hetzelfde commando opnieuw uitvoert, zie je de tap sync inhoud van de geselecteerde stream:
Dat was al een hoop werk, maar gelukkig is het moeilijkste deel achter de rug!
Nu we een tap hebben ingesteld om databasegegevens op te halen in het Singer spec-formaat, slaan we de transformatiestap voorlopig over en stellen we eerst een doel in waarnaar we het kunnen leiden. Op deze manier kunnen we snel deExtract enLoad delenvan de ETL pipeline controleren en al een leesbaarCSV resultaatzien in plaats van Singer spec JSON bestanden.
We gebruiken de PipelinewiseS3 CSV Target. De opzet van dit doel lijkt erg op hoe de tap eerder was opgezet. Nogmaals, je moet er een virtuele omgeving voor maken, deze activeren en de target-afhankelijkheid installeren met pip:
Deze target heeft ook een klein configuratiebestand nodig in de vorm van eenconfig.json bestand dat de naam van de emmer bevat waar we de CSV-bestanden naartoe willen sturen en de referenties die nodig zijn om toegang te krijgen tot de emmer:
Deze eenvoudige configuratie is alles wat we nodig hebben om het doel te laten werken. Het stelt ons in staat om het resultaat van de Oracle Tap naar dit doel te leiden en, afhankelijk van de geselecteerde streams, een of meer momenteel niet-geanonimiseerde CSV-bestanden in onze S3-bucket te krijgen. Als we het onderstaande commando uitvoeren vanuit debin directory van de geactiveerdetap-oracle virtuele omgeving, zal er een volledige tabelsynchronisatie plaatsvinden:
U kunt het resultaat controleren in de S3-webinterface of met de AWS-opdrachtregelclient. Voer de onderstaande commando's uit om te zien of de emmer CSV-bestanden bevat en om ze op te halen:
Of je kunt een katachtigding doen:
Nu we in staat zijn om gegevens op te halen uit onze Oracle database, selecteren we de stromen die we willen en slaan we ze op als CSV-bestanden in S3. We missen nog één kleine, maar zeer belangrijke stap:het anonimiseren van degegevens tijdens het transport tussen de tap en het doel.
We gebruiken PipelinewiseTransform Field omde transformatie / anonimisering te bereiken. Dit stukje software vertegenwoordigt in feite deT dieSinger als EL tool mist om er een echte ETL tool van te maken.
Om het transformatiedeel op te zetten, blijven we in een bekend thema. Zet gewoon een andere virtuele omgeving op, activeer die, installeer een afhankelijkheid via pip en maak een configuratiebestand.
Maak eenconfig.json bestandaan in debin directory van deze virtuele omgeving. Dit bestand bevat een eenvoudige lijst met transformaties. Zo'n transformatie definieert eenvoudig het type transformatie dat moet worden toegepast op een specifiek veld in een specifieke stroom. De configuratie in het onderstaande voorbeeld heeft als resultaat dathet veldFIRST_NAME in deTEST streamwordt gehasht:
De lijst met beschikbare transformaties in de Pipelinewise Transform Field stap zijn:
Hoewel deze transformaties voldoende zijn voor de anonimiseringsbehoeften van ons POC-geval, kunnen ze gemakkelijk worden gewijzigd. Je kunt zelfs aangepaste transformaties toevoegen. Bewerk hiervoor het bestandtransform.py in de maplib/python3.9/site-packages/transform_field van de huidige virtuele omgeving.
Met deze 3 virtuele omgevingen op hun plaats kunnen we ze allemaal samenvoegen om het eindresultaat te produceren waar we naar op zoek zijn. Als we het onderstaande commando uitvoeren, zouden we moeten zien dat de ETL pipeline het geselecteerde schema synchroniseert, specifieke delen anonimiseert en het eindresultaat als een CSV-bestand opslaat in onze S3 bucket:
Als we nu de CSV in onze emmer controleren:
In deze blogpost heb je gezien dat we Singer eenvoudig kunnen gebruiken om de doelen van de POC beschrevenin de vorige blogpost te bereiken. Omdat er alleen wat eenvoudige dingen zoals Python en een Oracle client voor nodig zijn, kan het op de meeste systemen en in de meeste omgevingen geïnstalleerd en gebruikt worden. Het maakt ook gebruik van enkele eenvoudige JSON-gebaseerde configuratiebestanden die gemakkelijk kunnen worden aangepast aan een heleboel gebruikssituaties. De broncode van de taps en targets is ook beschikbaar en is meestal eenvoudig te begrijpen en aan te passen waar nodig. Als je geen tap of target kunt vinden die bij je past,moet het niet al te moeilijk zijn om er zelf een te schrijven.
In de laatste aflevering van deze serie zal ik een manier laten zien om het hele systeem wat meer te vereenvoudigen en het te verpakken op een manier die meer geschikt is voor cloud native gebruik/deployment.
Omdat ik geen toegang had tot een bestaande Oracle database, moest ik er zelf een draaien. Je zou denken dat dat makkelijk en snel zou zijn, maar het bleek iets ingewikkelder en behoorlijk frustrerend. Vooral vergeleken met het draaien van een PostgreSQL of MySQL/MariaDB container met Docker.
Oracle XE werdlang geleden beschikbaar gemaakt. Het is een gratis versie van een Oracle database metenkelebeperkingen, maar geen daarvan was problematisch voor mijn gebruik. Oracle XE kan worden geïnstalleerd op Windows en Linux, maar omdat ik op een Mac werk en mijn andere databases via Docker draai, wilde ik het draaien viaeen Docker image.
Om dit te doen, moest ik zelf een Oracle docker image bouwen. Er is een Githubrepository die veel Dockerfiles en scripts vanOraclebevat. In deze repository is er ook een sectie voor Oracle databases:Oracle Database container images. Je kunt deze repository bekijken, naar deOracleDatabase/SingleInstance/dockerfiles directorygaan en hetbuildContainerImage.sh scriptuitvoeren om een echte Oracle Docker database container te bouwen.
Ik wilde een Oracle 12 opzetten die overeenkomt met de installatie van de klant, maar daarvoor moest ik eerst wat database installatiebestanden downloaden. Het lijkt er echter op dat die niet meer publiekelijk beschikbaar zijn (je kunt ze krijgen via een Oracle contract). Dus nam ik genoegen met Oracle 18.4.0 XE:
Op mijn MacBook Pro duurt het opstarten van deze Docker-container meer dan 30 minuten. Bovendien stopt het meestal na een paar uur met werken, waardoor een herstart nodig is die weer zoveel tijd in beslag neemt. Ik heb een aantal dingen geprobeerd, zoals volumes toevoegen om alle gegevens op te slaan die tijdens de eerste start worden gegenereerd, maar dat leek niet te helpen. Het gebruikt ook veel bronnen op mijn machine.
Zelfs nadat de container draaide, was het verbinden met de database ook niet echt eenvoudig vanwege het pluggable database gedoe. Zelfs toen we verbonden waren, was het maken van een gebruiker en database specifiek voor onze POC en daarmee verbinden weer een hoop gedoe: service naam vs. SID en geen ondersteuning voor service naam in de Oracle Python bibliotheek die gebruikt wordt door de kraan.
Dus uiteindelijk, na wat meer Googlen, vond ik eenDocker repository van Oracle die een oude Oracle 12 docker container bevat. Je hebt er een gratis Oracle account voor nodig om dedocker login te kunnen doen. Er is geen volume ondersteuning dus je zult in veel gevallen je data verliezen, maar het is eenvoudig op te zetten, start consistent in een paar minuten en je kunt er verbinding mee maken via een SID. Ookhet toevoegen van een gebruiker en database was niet al te moeilijk en daarom heb ik dit uiteindelijk gebruikt in plaats van het nieuwere Github repository spul.