Sr Data Engineer

Het Data Office team is onderdeel van de afdeling IT Services. Het team ontsluit en verwerkt data van uiteenlopende databronnen, en stelt deze beschikbaar voor analyse doeleinden. Verder is het team verantwoordelijk voor het ontwikkelen en beheren van CREDO. Dit is het het centrale data- en analyticsplatform van de organisatie. Het platform is gebaseerd op een lakehouse-architectuur in Azure met een medallion-structuur en een Delta Lake.

Het team werkt nauw samen met data analisten, data stewards en overige stakeholders om ruwe data om te zetten in dataproducten die direct bijdragen aan de bedrijfsdoelen van de RET. Binnen de Data Community waarborgen we de naleving van best practices, standaarden en architectuurprincipes. We zorgen ervoor dat alle data oplossingen voldoen aan strikte governance en hoge kwaliteitsnormen, zodat de volledige dataketen optimaal functioneert.

Als ervaren Data Engineer werk je binnen Data Office mee aan zowel de oplevering van dataproducten als ook de doorontwikkeling en het beheer van CREDO. Momenteel werken we aan de migratie naar Microsoft Fabric. Op de roadmap voor de komende tijd staan onder andere het optimaliseren van performance, bewaken van datakwaliteit, monitoring en kostenbeheersing. We bevinden ons in een omgeving die bruist van ambitie om veilig, slim en verantwoord te werken volgens een metadata gedreven methodiek. Met jouw technische expertise zet je schaalbare en efficiënte datapipelines op, waarmee de RET kan blijven innoveren en groeien in een datagedreven toekomst.

Werkzaamheden

• Bijdragen aan het verder ontwikkelen van het CREDO dataplatform en verantwoordelijk zijn voor de realisatie van een of meer speerpunten op de roadmap.
• Implementeren van de migratie van CREDO in Synapse naar Microsoft Fabric, op basis van de intermediate state en target state architecture, waaronder het omzetten van bestaande pipelines, notebooks en datamodellen.
• Bouwen en onderhouden van schaalbare datapipelines en PySpark notebooks binnen de medallion-structuur (bronze, silver en gold), met een focus op prestatie- en kostenoptimalisatie.
• Implementeren van dimensionele datamodellen en het ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen, ook in complexe bronlandschappen.
• Uitvoeren en implementeren van data quality framework en checks op datasets gedurende de ETL/ELT-processen om de nauwkeurigheid en volledigheid te waarborgen, en implementeren van data cleansing processen om bekende datakwaliteitsproblemen op te lossen.
• Structureren en managen van SQL datawarehouse met een focus op Azure SQL Database en Fabric Database.
• Samenwerken met data analisten om requirements te verzamelen en te vertalen naar technische specificaties voor data-oplossingen.
• Implementeren en gebruiken van CI/CD-pijplijnen voor geautomatiseerde build, test en deployment processen, inclusief integratie van quality en security controles.
• Analyseren en oplossen van complexe technische problemen, uitvoeren van code reviews en zorgen voor documentatie en monitoring van de opgeleverde oplossingen.
• Inbrengen en borgen van je expertise en ervaring binnen het Data Office team. Coachen van andere data engineers om hen zowel individueel als het team naar een hoger plan te trekken.

Eindresultaat

De opdrachtnemer realiseert de verdere ontwikkeling van het operationele CREDO-dataplatform door de implementatie van één of meer overeengekomen roadmaponderdelen, passend binnen de doelarchitectuur en de doorontwikkeling van het platform. Daarnaast omvat het resultaat werkende en gedocumenteerde datapipelines, het opzetten van PySpark-notebooks en het ontwerpen en bouwen van datamodellen, ten behoeve van de ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen.