Omschrijving
Je stelt infrastructure-as-code processen op en geeft -werkwijze verder vorm op Azure, waarbij je zorgt voor robuuste, geautomatiseerde uitrol van de Databricks infrastructuur op Azure realiseert. Je werkt met Azure Databricks en sluit onze bronsystemen aan via Kafka Connect om data betrouwbaar te ontsluiten, verwerken en beschikbaar te maken. Je zorgt dat onze cloudomgeving (Azure) aansluit op de eisen van de overheid op het gebied van beveiliging en regelgeving. Je werkt samen met ons bestaande team en neemt hen mee in de gekozen oplossingen, zodat zij na jouw vertrek verder kunnen. Je draagt actief kennis over (documentatie, uitleg, sessies) zodat DataOps niet aan één persoon blijft hangen.
Achtergrond opdracht
We zijn op zoek naar een senior data engineer die het data team helpt Azure Landing Zone professioneel en schaalbaar in te richten. In deze rol ligt de nadruk op het opzetten en automatiseren van data-processen in de cloud.
Binnen het huidige team ontbreekt op dit moment nog de benodigde expertise om dit proces zelfstandig vorm te geven en te implementeren. Om de gewenste voortgang te realiseren, is externe expertise noodzakelijk.
Deze kan niet alleen helpen bij de inrichting, maar ook bij het versneld overdragen van kennis en vaardigheden aan het team, zodat het de benodigde werkwijze op termijn zelfstandig kan uitvoeren
Werklocatie
- Werklocatie: hybride
Eisen
- Je kunt infrastructure-as-code processen opstellen en geeft -werkwijze verder vorm op Azure, waarbij je zorgt voor robuuste, geautomatiseerde uitrol van de Databricks infrastructuur op Azure realiseert.
- Je kunt met Azure Databricks bronsystemen ontsluiten aan via Kafka Connect om data betrouwbaar te ontsluiten, verwerken en beschikbaar te maken.
- Ervaring van het inrichten van toegangsbeheer voor Databricks: Entra ID/IAM, Unity Catalogrechten en workspacetoegang.
- Ervaring met Azureinfrastructuurbeveiliging: Defender for Cloud, Sentinel (SIEM), SOCprocessen en KQLdetecties.
- (Pre) Certificering Databricks Data Engineer Associate of Microsoft DP750 (Azure Databricks)
- Ervaring met werken binnen de overheid, zodat je bekend bent met de bijbehorende processen en kaders.
- Sterke kennis van Azure Databricks en DataOps-principes (CI/CD voor data, automatisering, monitoring, reproducibility).
- Ervaring met Kafka Connect of vergelijkbare tooling voor batch en streaming data integratie.
- Ervaring met het opzetten van IaC op basis van ARM/Bicep/Terraform of vergelijkbaar
- Ervaring met Azurenetwerksecurity: hub/spoke, NSG’s, Private Endpoints, UDR’s en microsegmentatie.
- Ervaring met het inrichten van monitoring: Azure Monitor, Log Analytics (KQL) en/of Splunk.
Wensen
- Vermogen om mensen mee te nemen, kennis over te dragen en een team op een volwassen manier te begeleiden in nieuwe werkwijzen.
- Ervaring met ontwikkeling en samenwerking binnen de Rijksoverheid of andere publieke organisaties.
- Ervaring met het coördineren van ontwikkeling over meerdere teams, domeinen of organisaties heen.
Over de organisatie
Meer weten over deze organisatie? Lees wie ze zijn en welke opdrachten ze momenteel aanbieden.
