Senior Data Engineer Databricks

De Directie Informatievoorziening (IV) heeft de ambitie om data integraal beschikbaar te maken en inzicht te creeëren binnen de Ministeries EZK en LVVN. In deze aanvraag ligt de focus op de beleidsdirecties bij EZK om het bestaande data- en analyse platform (DADEL) door te ontwikkelen naar een duurzame oplossing met toegankelijke data en beschikbare dataproducten. Dit doe je vanuit team Dataservices bij IV in samenwerking met de beleidsdirecties zelf.

Als data engineer zorg je ervoor dat data wordt ontsloten en bruikbaar is voor analyses op het platform van het cluster Data, Kennis & Monitoring (DKM) en de directie IV. Je doet dit binnen Microsoft Azure en Azure Databricks. Daarnaast kijk en bouw je mee aan de datamodellen die nodig zijn voor de analyses en denkt mee met de data platform adviseur over de doorontwikkeling van het platform.

Doelstellingen

• Je ontwikkelt, onderhoudt en optimaliseert datapipelines voor specifieke informatieproducten. Hiervoor wordt het Databricks platform gebruikt
• Je bouwt datamodellen die relevant zijn voor de datavraagstukken van collega's en zorgt voor de invulling van een professionele strategie hierop
• Je werkt mee aan het opzetten van een doorzoekbare data-catalogus voor de kerndepartementen
• Je denkt kritisch mee aan de verdere doorontwikkeling van het Databricks platform en komt zelf met slimme ideeën voor verbeterslagen d.m.v. het volgen van de meest recente ontwikkelingen van innovatieve en moderne tools, technieken en architectuur voor data-ontwikkeling en beheer
• Je werkt nauw samen met datagebruikers, datascientists e.a. op in de hiervoor genoemde technieken, zodat ze in staat zijn om de data die ze nodig hebben te integreren en te gebruiken
• Je stimuleert datagedreven werken binnen de kerndepartementen en helpt collega's om deze werkwijze eigen te maken
• Je professionaliseert de bestaande ETL en beschrijft best-practices en werkwijzen
• Je bent een sparringspartner op architectuurvraagstukken

Context

Voor deze functie ben je de helft van de tijd beschikbaar voor het team Dataservices en de andere helft voor het cluster Data, Kennis & Monitoring (DKM) van de directie Strategie Energiesysteem bij EZK. DKM is binnen de kerndepartementen een voorloper in het implementeren van het DADEL platform en gebruikt deze ter ondersteuning van het schrijven van datagedreven beleid voor de energietransitie. Daarnaast houdt het cluster zich actief bezig met het samenbrengen van de decentrale ontwikkelingen van het DADEL platform.