Omschrijving
Een van de strategische speerpunten van NS is om meer datagedreven te werken. De afdeling Data Innovatie & Analyse (DIA) speelt hierin een cruciale rol. Door datagedreven te werken, kunnen we repeterende processen verder automatiseren, beslissingen beter onderbouwen en voorspellingen doen voor de toekomst. Je maakt deel uit van team Lakehouse, één van de vijf platformteams binnen DIA. Wij bouwen een grootschalig data-ingestieplatform dat datateams maximaal faciliteert, zodat zij zich volledig kunnen richten op het maken van waardevolle data-, informatie en AI-producten.
Als Data Ingestion Engineer ben je bij ons geen traditionele 'pijplijnbouwer'. Je bent medeverantwoordelijk voor het volledige ontwikkel- en beheerproces van ons platform. De focus ligt hierbij op automatisering en kwaliteit. Je slaat de brug tussen software engineering en data engineering om een productiewaardig platform neer te zetten. Dankzij jou Python programmeer skills en ervaring met data-ingestie ben jij van onschatbare waarde bij het bouwen aan een solide, gestandaardiseerde 'achterkant' die data niet alleen verplaatst, maar ook valideert en als een betrouwbaar product aanbiedt.
Werkzaamheden
- Je ontwikkelt met Python de core services van het data-ingestieplatform. Dit omvat generieke componenten voor patronen, zoals API en FTP en het implementeren van data push-principes (bijv. endpoints voor bronnen)
- Je zorgt voor logica rondom validatie, versioning en metadata-management, zodat we een betrouwbare 'brons en zilver layer' aanbieden in Databricks in plaats van enkel ruwe bestanden
- Je werkt met RDBMS (bijv. Postgres) voor efficiënte opslag van dataconfiguraties
- Je gebruikt containers (in Azure Container Apps) om pipelines in te draaien
- Je ontwerpt en bouwt API's
Team
Je gaat werken in team Lakehouse. Dit is een autonoom scrumteam met zes Developers, een UX-designer, een Scrum Master en een Product Owner. We werken hybride, dus op ons hoofdkantoor in Utrecht of thuis. In principe hebben we één vaste kantoor dag maar je bent flexibel en vindt het geen probleem om vaker naar Utrecht of elders in het land te reizen. Samen willen we continue verbeteren, nemen we eigenaarschap en delen we actief kennis binnen en buiten het team.
Eisen
- Je beschikt over minimaal HBO werk-en denkniveau.
- Je beschikt over minimaal 3 jaar ervaring in een soortgelijke rol.
- Je beschikt over ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python.
- Je hebt een uitstekende beheersing (zowel mondeling als schriftelijk) van de Nederlandse taal.
- Je beschikt over werkervaring bij een soortgelijke organisatie als NS (minimaal 5000 plus werkplekken).
- Je beschikt over hands-on ervaring met Azure (Function Apps, Container Apps, ADLS Gen2) en schaalbare microservice-architecturen.
- Je beschikt over ervaring met Infrastructure as Code, bijvoorbeeld Terraform of Bicep.
- Je beschikt over ervaring met Databricks of Snowflake en je bent bekend met OTF.
Over de organisatie
Meer weten over deze organisatie? Lees wie ze zijn en welke opdrachten ze momenteel aanbieden.
