Senior Data Ingestion Engineer

Je bent onderdeel van één van de vijf platformteams binnen Data, Innovatie & Analyse (DIA). Samen bouwen jullie een dataplatform, waarbinnen datateams zoveel mogelijk ontzorgd worden in de randzaken, zodat ze zich kunnen richten op het maken van waardevolle informatieproducten. Als Senior Data Ingestion Engineer ben je geen traditionele data engineer die enkel pipelines bouwt. Je bent mede-verantwoordelijk voor het volledige ontwikkelproces van het schaalbare en robuuste platform waarop al onze data-ingestie draait: van design en implementatie tot deployment en monitoring, met een focus op automatisering en softwarekwaliteit.

Je slaat de brug tussen software engineering en data engineering om een productiewaardig ingestie platform aan te bieden. Je speelt een cruciale rol in het realiseren van de "Bronnen Zetten Data Klaar" visie door een solide, gestandaardiseerde 'achterkant' te bouwen die data niet langer alleen verplaatst, maar ook valideert en als een betrouwbaar product aanbiedt. Je bent niet alleen technisch ontwikkelaar, maar ook sparringpartner en coach voor onze interne gebruikers, waarbij je ervoor zorgt dat onze tooling daadwerkelijk aansluit bij hun behoeften.

Team

Over het team Je gaat werken in team Lakehouse: een gemotiveerd en zelfstandig scrumteam met vier Developers, een UX-designer, een Scrum Master en een Product Owner. We werken hybride vanuit ons hoofdkantoor in Utrecht en thuis, met minimaal één vaste kantoordag per week. Samen streven we naar continue verbetering en delen we actief kennis en ervaringen.

Werkzaamheden

• Het team: Binnen het team ben je kritisch en neem je gedeelde verantwoordelijkheid voor resultaten. Je zorgt ervoor dat jouw expertise wordt gedeeld binnen het team. Feedback geef je gevraagd en ongevraagd. En krijg jij feedback, dan zie je dat als een kans om te groeien. Je bent communicatief, flexibel, snel van begrip en kan goed omgaan met deadlines en tijdsdruk.
• Architectuur & Design: Je helpt bijvoorbeeld mee met het neerzetten van een push data service, bij het ontsluiten van bronnen op de meest efficiënte manier en bij het proactief meedenken over tooling, networking en containers.
• Platform Bouwen: Je bouwt met Python de core services van ons nieuwe ingestieplatform. Dit omvat het ontwikkelen van generieke componenten voor verschillende ingestiepatronen (bijvoorbeeld API en FTP) en het implementeren van de data push-principes, zoals het optuigen van een Endpoint waar bronnen hun data naar kunnen pushen.
• Productization van Data: Je zorgt ervoor dat we stoppen met het 'as-is' doorgeven van bestanden. Je implementeert de logica voor validatie, versioning en metadata-management, waardoor we een betrouwbare 'bronze layer' kunnen aanbieden.
• Automatisering (IaC): Je zet je diepgaande kennis van Terraform in om de volledige infrastructuur van het ingestieplatform als code te verbeteren. Dit maakt het uitrollen van nieuwe pipelines en het doorvoeren van wijzigingen (zoals initial loads) voorspelbaar en efficiënt.
• Self-Service Verbeteren: Je werkt aan de backend van de webapplicatie om deze daadwerkelijk nuttig te maken. Je bouwt de API's die nodig zijn om retries mogelijk te maken en de complexiteit van API-ingestie (zoals whitelisting en paginering) voor data-teams te abstraheren.