Data Engineer senior

Het Datateam Stedelijke Ontwikkeling en Beheer heeft verwerking van diverse informatieproducten in zijn beheer en daar komen steeds nieuwe datasets en informatieproducten bij vanuit de opdrachtgevers. Deze opdrachtgevers zijn intern vanuit de gemeente Amsterdam en bevinden zich in andere directies/clusters binnen de stad, zoals: het Ingenieursbureau, Verkeer & Openbare Ruimte, of Grond & Ontwikkeling. Je komt in aanraking met verschillende manieren van data ontsluiting, bijvoorbeeld webbased middels een API of juist rechtstreeks vanuit een database.

Op basis van ETL generatie en het bouwen van orchestration jobs in Pentaho stel je data beschikbaar aan afnemers afgestemd op het type gebruik. Echter, het dataplatform in de Azure cloud is in ontwikkeling, hierdoor zal het ontsluiten en beschikbaar maken van data steeds sneller en efficiënter gaan in de toekomst. Daarnaast zal de migratie van de CloudVPS omgeving naar de Microsoft Azure cloud een groot deel van je werk in beslag gaan nemen in 2022, om ervoor te zorgen dat alle bestaande (geautomatiseerde) dataverwerkings jobs goed in productie genomen worden in de Azure cloud.

Werkzaamheden

• Zoeken, ontsluiten en beschikbaar maken van datasets;
• Datakwaliteit van externe bronnen beoordelen en issues terugkoppelen;
• Ontwerpen, ontwikkelen en testen, waaronder het modelleren van informatieproducten, schrijven van SQL scripts en inrichten van Pentaho jobs;
• Adviseren in en implementeren van oplossingen voor complexe datamodellen en data-analyses;
• Je bent continue op zoek naar verbeteringen en daarmee verantwoordelijk voor de innovatie het van het data platform;
• Analyseren en oplossen van bugs/issues op de beheerde omgeving (OTAP);
• Werken met open source tooling, verschillende data formats en script en programmeertalen waaronder: Linux, Docker, Pentaho, PostgreSQL, GIT, Javascript, XML, JSON, YML en Python;
• De migratie naar de cloud helpen realiseren;
• Adviseren en beantwoorden van vragen van klanten en gebruikers van onze data;
• Werken in een ervaren mulitdisciplinair Agile/Scrum team en het samenwerken met andere agile teams.

De opdrachtgever(s)

Je komt te werken in het Datateam Stedelijke Ontwikkeling en Beheer en bent medeverantwoordelijk voor het ontwikkelen en beheren van het platform voor onze dataverwerking. Het team levert een bijdrage aan datavraagstukken rondom thema’s als duurzaamheid, wonen, beheer van de openbare ruimte en de ondergrond van Amsterdam (alle kabels en leidingen).

Dit team verwerkt allerlei data die worden ontsloten volgens een gestandaardiseerde format, die mede voldoet aan de standaarden die vanuit de nieuwe Omgevingswet worden vereist. Het team richt zich met name op gebruikers, zoals onderzoekers en planners van werkzaamheden in de openbare ruimte. Door data over bijvoorbeeld kabels en leidingen in de grond centraal beschikbaar te stellen voor alle medewerkers van de gemeente Amsterdam, kunnen werkzaamheden in de grond beter op elkaar af worden gestemd en dubbel werk worden voorkomen. Het team bestaat op dit moment uit een Product Owner, Scrum Master, twee business analisten, een informatie analist en vier data engineers. Wij werken scrum agile en doen daarmee alle scrum ceremonies. De gemeente Amsterdam werkt hybride, zo ook ons team. Thuiswerken is geen probleem, maar als de omstandigheden het toelaten, gaan we ook weer vaker op kantoor afspreken. In het team heerst een open sfeer, waarin iedereen zichzelf kan zijn en zich kan uitspreken.