MLOps Engineer Monitoring

Binnen MLOps Engineering wordt gewerkt aan inhoudelijke monitoring voor AI- en machine learning oplossingen. De benodigde monitoringfunctionaliteit aan de back-endzijde wordt al ontwikkeld, maar er ontbreekt een gestandaardiseerde en gebruiksvriendelijke front-end waarmee data scientists en andere stakeholders inzicht krijgen in de kwaliteit, prestaties en stabiliteit van modellen en content monitoring processen.

Stedin wil een uniforme monitoringoplossing realiseren waarmee monitoringinformatie op een consistente wijze kan worden gepresenteerd. Hiervoor is specifieke kennis nodig van Databricks Apps, dashboardontwikkeling (in Streamlit) en integratie van monitoringvisualisaties met achterliggende dataplatformcomponenten. Deze opdracht is noodzakelijk om de monitoringfunctionaliteit daadwerkelijk bruikbaar en inzetbaar te maken voor eindgebruikers.

Doelstelling

Het doel van de opdracht is het ontwerpen, ontwikkelen en implementeren van een gestandaardiseerde front-end voor content monitoring binnen het ML-platform van Stedin.

Werkzaamheden

De opdracht omvat:

• Fase 1 (gereed uiterlijk 1 november 2026)
  • Inventariseren van functionele eisen en wensen samen met data scientists en ML engineers.
  • Ontwerpen van een standaard dashboardstructuur voor content monitoring.
  • Vaststellen van KPI's, visualisaties en gebruikersinteractie.
• Fase 2 (gereed uiterlijk 1 februari 2027)
  • Ontwikkelen van een monitoringdashboard met Streamlit op Databricks Apps (iets anders is mogelijk).
  • Realiseren van de benodigde koppelingen met de beschikbare content monitoring back-end.
  • Implementeren van standaardcomponenten en herbruikbare visualisaties.
• Fase 3 (gereed uiterlijk 1 april 2027)
  • Validatie van de oplossing met stakeholders.
  • Doorvoeren van optimalisaties op basis van feedback.
  • Opleveren van een werkende productieklare monitoringomgeving inclusief documentatie.

De opdracht is voltooid wanneer een werkende, door stakeholders geaccepteerde monitoringfront-end beschikbaar is die geïntegreerd is met de beschikbare back-end monitoringcomponenten.

Resultaten

• Ontwerpdocument voor de standaard content monitoring front-end (medio nov 2026).
• Werkende Databricks App voor content monitoring (1 februari 2027).
• Geïmplementeerde koppeling tussen dashboard en content monitoring back-end (1 februari 2027).
• Bibliotheek met gestandaardiseerde monitoringvisualisaties en dashboardcomponenten (1 maart 2027).
• Documentatie voor beheer, gebruik en verdere ontwikkeling van de oplossing (1 april 2027).
• Overdracht van kennis gedaan aan team (1 april 2027)
• Productieklare en gevalideerde monitoringomgeving (1 april 2027).

Werkingdomein

Onderdeel van de opdracht:

• Ontwikkeling van de monitoringfront-end.
• Ontwerp van standaard visualisaties.
• Afstemming met data scientists over informatiebehoefte.
• Configuratie van Databricks Apps.
• Realisatie van koppelingen met beschikbare monitoringdata.
• Technische documentatie van de oplossing.

Geen onderdeel van de opdracht:

• Ontwikkeling van content monitoring algoritmen.
• Ontwikkeling van AI-modellen.
• Product ownership of functioneel beheer.
• Platformbeheer buiten de benodigde configuraties voor de op te leveren oplossing.
• Organisatiebrede monitoringstandaarden buiten ML Engineering.