Omschrijving
Als Data Engineer bij het Service Center Data (SCD) ben je verantwoordelijk voor het ontwikkelen en testen van verschillende dataverladingen. Data engineers leveren een bijdrage aan de gezamenlijke gedeelde straat. Dat wil zeggen; de data worden verladen en getransformeerd ten behoeve van dashboarding, gestandaardiseerde analyses en standaard self service BI.
Samen met collega's in verschillende rollen werken aan de ontwikkeling en optimalisatie van informatieproducten (bijvoorbeeld analytics, rapportages en dashboards). Je stuurt op herbruikbaarheid, privacy, datakwaliteit en tijdigheid en draagt actief bij aan de ambitie van de SVB om datagedreven te werken.
Je werkt op een korte cyclische manier (Agile Scrum) nauw samen met ontwikkelaars en producteigenaren om de achterstand scherp te krijgen. Je bent wezenlijk betrokken bij functionele en acceptatietests, voert controles uit en denkt mee over wat getest moet worden.
Werkzaamheden
- Ontsluiten van data uit verschillende type bronnen (API, CSV, database)
- Toepassingen van transformaties op de data met behulp van SQL en Python
- Ontwikkelen van Synapse pipelines voor het verladen van de data
- Testen en valideren van dataverlading
- Monitoren en probleemoplossing
- Technisch onderhouden van Synapse pipelines
- Samenwerken met Report engineers, Cloud Engineers, Data modelleurs en Informatieanalisten om datamodellen te valideren en de data-infrastructuur te optimaliseren
- Technisch uitrollen van datamodellen in brons, zilver en goud
Producten
- Datasets in de zilveren en gouden laag van het dataplatform (medaille-architectuur)
- Geanonimiseerde datasets voor de datawetenschappers
Eisen
- Kennis van de basis architectuurprincipes en stijlen van Data Warehousing en Business Intelligence (Inmon, Kimball)
- Kennis van en minimaal 5 jaar ervaring met het toepassen van SQL voor ingevoerde (tabellen, kolommen en relaties) data
- Kennis van een meerjarige ervaring met het toepassen van PySpark voor ingevoerde (tabellen, kolommen en relaties) data
- Meerjarige ervaring met het werken met Microsoft Azure
- Kennis van CI/CD en versiebeheer in DevOps
- Duidelijk en helder kunnen communiceren over de mogelijkheden en beperkingen aan stakeholders
- Leergierig en open om nieuwe technologieën te leren en te implementeren
- Uitstekende beheersing van de Nederlandse taal in woord en geschrift (volledige beheersing van het Nederlands is een formele vereiste voor deze functie)
- Goed teamgeest, je collega data engineers nemen deel aan de gemaakte producten en brainstormen over innovatie op het gebied van data engineering
Wensen
- Meerjarige ervaring met report engineering: het feitelijk opzetten van een tabellarisch model en bouwen van rapporten in PowerBI
Over de organisatie
Meer weten over deze organisatie? Lees wie ze zijn en welke opdrachten ze momenteel aanbieden.
