Senior Data Platform Engineer

De organisatie is bezig met de verdere ontwikkeling van een toekomstbestendig dataplatform binnen het DAMA-DMBOK raamwerk en zoekt ondersteuning in de vorm van een ervaren data platform engineer. De opdracht wordt uitgevoerd binnen een scrumteam, bestaande uit onder meer data platform engineers en een solution architect.

Het omvat het ontwerpen, bouwen en beheren van een schaalbaar, veilig en gebruiksvriendelijk data platform. Het platform moet stabiele toegang tot data bieden en aansluiten bij de behoeften van DevOps teams met data-analisten, data scientists en andere gebruikers binnen de organisatie.

De werkzaamheden richten zich op het verstevigen van het data platform en ook het onboarden of migreren van teams naar het platform. Er wordt verwacht dat je actief meedenkt over en bijdraagt aan schaalbare en onderhoudbare platformcomponenten, en bestaande oplossingen beheert en optimaliseert. Ook het adviseren over verbeteringen op het gebied van architectuur, beveiliging en datagebruik. Bij een toekomstbestendig platform hoort ook AI en machine learning toepassingen hiervoor wordt ook een bijdrage gevraagd.

De opdracht vereist een mate van zelfstandigheid en eigenaarschap. Tegelijkertijd wordt verwacht dat je actief meedenkt over toekomstige toepassingen en verbeteringen binnen het platformlandschap.

Resultaten

Belangrijkste technieken, methoden en tools

• Microsoft Azure Cloud
• Databricks / Unity Catalog
• Azure Data Factory
• Kubernetes
• Python / PySpark
• SQL
• Git (DevOps / Gitea)
• Terraform (Infrastructure as Code)
• Medaillon architecture
• Microsoft Well Architected Framework
• Private en public cloud dataoplossingen
• Agile en projectmatig werken

Verantwoordelijkheden

Hier zijn enkele belangrijke verantwoordelijkheden:

• Optimaliseren van het Azure data platform ecosysteem
• Implementeren van kwaliteit, performance, security en governance standaarden
• Meedenken en integreren van verschillende data technologieën en/of processen
• Samenwerking met andere engineers, analisten, data scientisten en architecten

Werkzaamheden

• Implementeren van best practices van o.a. Microsoft en Databricks
• Zorgen voor naadloze integraties binnen de Azure cloud omgeving, zoals koppelingen met BI-tools, databases, pipeline, API’s, etc
• Schrijven van Infrastructure as Code met Terraform
• Optimalisatie van governance, performance, resource gebruik, kosten en beveiliging binnen het data platform
• Adviseren over code, clusterconfiguratie, data pipelines, Delta Lake-strategieën en ML/AI-workloads
• Implementeren van best practices in het kader van een catalogus, quality, lineage, ingestion en encryptie
• Adviseren over public cloud en private cloud oplossingen
• Zorgen voor naleving van databeleid en security policies
• Analyseren, troubleshooten en implementeren van logging en monitoring
• Documenteren van oplossingen
• Het begeleiden van DevOps teams met processen en het platform