Omschrijving
Als Senior Streaming Data Engineer speel je een cruciale rol binnen ons team. Je werkt samen met collega Data Engineers om geavanceerde data-oplossingen te ontwikkelen. Met jouw diepgaande kennis van Spark Structured Streaming en PySpark, draag je bij aan het ontwerp en de implementatie van schaalbare data-oplossingen die onze analytics teams in staat stellen om de beste beslissingen te nemen.
Als onderdeel van onze afdeling werk je aan het bouwen en onderhouden van real-time streaming platformen, met focus op semigestructureerde sensorische databronnen en beeldverwerking. Je zorgt ervoor dat data betrouwbaar is en efficiënt en schaalbaar verwerkt wordt. Daarnaast voldoen de oplossingen aan de security- en privacyvereisten van NS. Het team waarin je gaat samenwerken richt zich op grote, semigestructureerde sensorische databronnen en ontwikkelt additionele diensten voor opslag en verwerking van beeldmateriaal.
Dankzij jouw doortastendheid en leergierigheid ben je van onschatbare waarde bij het achterhalen van de vraag achter de vraag waardoor je passende oplossingen kunt adviseren, het inrichten van de data pipeline tussen databronnen en onze analytics teams, het opzetten en beheren van de CI/CD pipeline waarbinnen een streaming pipeline van ontwikkeling tot productie wordt gerealiseerd, en bouwen in onze Azure cloud omgeving aan een fundament waarin alle streaming en sensorische databronnen ontsloten worden voor verdere analyses.
Doelstelling
Je zorgt ervoor dat data betrouwbaar is en efficiënt en schaalbaar verwerkt wordt. Daarnaast voldoen de oplossingen aan de security- en privacyvereisten van NS.
Werkzaamheden
- Achterhalen van de vraag achter de vraag waardoor je passende oplossingen kunt adviseren
- Inrichten van de data pipeline tussen databronnen en onze analytics teams
- Opzetten en beheren van de CI/CD pipeline waarbinnen een streaming pipeline van ontwikkeling tot productie wordt gerealiseerd
- Bouwen in onze Azure cloud omgeving aan een fundament waarin alle streaming en sensorische databronnen ontsloten worden voor verdere analyses
Eisen
- Je hebt als Data Engineer minimaal 7 jaar recente ervaring met het verwerken van grote hoeveelheden data en minimaal 3 jaar recente ervaring met Spark Structured Streaming.
- Je hebt minimaal 7 jaar ervaring met Python en PySpark, het ontwikkelen van CI/CD-pipelines, geautomatiseerd testen en Infrastructure-as-Code.
- Je hebt ervaring met Java en/of Scala, Microsoft Azure, Databricks, Azure DevOps, Terraform en/of Bicep, OpenTofu, Kafka, AMQP, RabbitMQ en/of Event Hub.
- Je hebt een uitstekende beheersing (zowel mondeling als schriftelijk) van de Nederlandse taal.
- Je hebt een actueel en relevant inzicht in technologische ontwikkelingen binnen dit domein en gebruikt jouw expertise graag om innovatieve oplossingen en platformen te creëren. Geef op het voorblad een toelichting over hoe je up-to-date blijft met de technologische ontwikkelingen binnen dit domein.
Over de organisatie
Meer weten over deze organisatie? Lees wie ze zijn en welke opdrachten ze momenteel aanbieden.