Grip op AI met MLflow: hoe PGGM verantwoord innoveert

Artificial intelligence (AI) biedt enorme kansen voor organisaties als PGGM. Tegelijkertijd vraagt het gebruik ervan om zorgvuldigheid, transparantie en duidelijke afspraken. Als innovatiemanager bij PGGM houd ik me dagelijks bezig met het versnellen en opschalen van innovaties, met een sterke focus op data en AI.

De afgelopen acht jaar fungeerde ik als programmamanager bij het ontwikkelen van AI-toepassingen en -competenties waarmee een fundament voor het verantwoorde gebruik van AI als kerncompetentie van het bedrijf is gelegd. Een belangrijke voorwaarde hiervoor is het inrichten van AI-governance.

PGGM volgt marktontwikkelingen op de voet en we maken nieuwe technologieën snel eigen, maar altijd vanuit een stevige basis. Veiligheid, ethiek en het voldoen aan wet- en regelgeving, zoals de Europese AI Act, zijn daarbij randvoorwaarden. Dat betekent dat niet alleen de techniek op orde moet zijn, maar ook het beheer, de governance en de monitoring van AI-toepassingen.

Van losse experimenten naar grip op AI

De afgelopen jaren zagen we dat AI steeds toegankelijker werd voor ontwikkelaars en data scientists, maar ook voor zogenaamde ‘citizen developers’. Dat is positief, maar het tempo waarin AI werd toegepast lag hoger dan het tempo waarin governance en beheer waren ingericht.
 
Teams werkten met eigen scripts en persoonlijke ontwikkelomgevingen, experimenten werden lokaal vastgelegd en resultaten verdwenen in losse notebooks. Dat werkte goed voor individuele ontwikkelaars om snel minimal viable products te maken, maar werd problematisch zodra meerdere mensen samen aan modellen werkten of wanneer modellen in productie gingen.

Daarnaast ontbrak een eenduidig framework om AI-modellen structureel te toetsen op zaken als bias, data drift, transparantie en audit trails. PGGM is zelf verantwoordelijk voor het gebruik en de uitkomsten van AI en daarom wilden we juist op die punten meer grip krijgen.

MLflow als fundament voor verantwoord AI-gebruik

Om die reden zijn we bij PGGM gestart met software (MLflow) om dit goed in te richten. Ik omschrijf MLflow vaak als een toolbox waarmee we AI transparant maken voor verschillende stakeholders in de organisatie. Het ondersteunt het hele proces: van experiment en training tot validatie en productie, voor zowel zelf ontwikkelde modellen (MLOps) als voor het gebruik van large language models (LLM Ops) via ons beveiligde Azure-platform.

MLflow legt automatisch vast welke data, code, parameters en resultaten bij een model horen. Daarnaast beschikken we over dashboards waarmee we tijdens de ontwikkeling én in productie bias en data drift monitoren. Wanneer afwijkingen optreden, geeft een dashboard een eerste indicatie of bias/drift zich mogelijk voordoet. In zo’n geval kan een model of applicatie worden stilgezet om onbetrouwbare output te voorkomen. Al deze stappen worden vastgelegd, waardoor ook een volledig audit trail ontstaat.

Concrete impact in de praktijk

Een goed voorbeeld van de meerwaarde van zulke software is het gebruik van spraak-naar-tekst bij onze klantenservice. Gesprekken worden door een AI-model omgezet in tekst en vervolgens automatisch samengevat door een tweede model. Die samenvatting wordt vastgelegd in het CRM-systeem bij het juiste klantdossier. De kwaliteit van deze samenvattingen moet continu worden bewaakt.

Waar dit voorheen handmatig gebeurde, verloopt de kwaliteitscontrole nu geautomatiseerd met behulp van wat we een ‘LLM judge’ noemen. De klantenservice bepaalt vooraf aan welke criteria een goede samenvatting moet voldoen. Die criteria worden vervolgens één voor één gecontroleerd op basis van de transcripten, bijvoorbeeld of de kern van het gesprek correct is weergegeven. Dit bespaart veel tijd, verhoogt de kwaliteit en zorgt ervoor dat we continu zicht houden op het gedrag van de AI-modellen.

Samenwerken vanuit één waarheid

MLflow moet in de toekomst fungeren als een centrale plek waar data scientists, engineers en governance-rollen samenwerken aan AI-modellen. Vanuit één bron worden modellen ontwikkeld, beheerd en uitgerold, terwijl de informatie beschikbaar is in de tools en interfaces die passen bij ieders rol. Hierdoor kijkt iedereen naar dezelfde informatie, maar vanuit zijn eigen perspectief.

Modellen zijn daarmee niet langer ‘van één persoon’, maar van het team en uiteindelijk van de organisatie. Dat verlaagt de overdrachtsdrempel, voorkomt kennisverlies en maakt het eenvoudiger om verantwoordelijkheden helder te beleggen. De volgende stap: van techniek naar organisatiebreed fundament

Op dit moment is MLflow binnen PGGM beschikbaar als technisch modelregister voor zelfgebouwde modellen, aanvullend op het bestaande modelvalidatieregister. Voor large language models leggen we alle zogeheten traces vast: alles wat gebeurt tijdens een interactie met een model. Daarmee kunnen ook AI-agents structureel worden gemonitord. De proof-of-conceptfase is hiermee afgerond met eerste use cases.

De volgende stap is verdere integratie met governanceprocessen zoals modelvalidatie, monitoring n compliance met regelgeving, waaronder de EU AI Act. Ons doel is dat MLflow niet alleen een technisch hulpmiddel is voor ontwikkelaars, maar uitgroeit tot een fundament voor verantwoord, schaalbaar en toekomstbestendig AI-gebruik binnen PGGM.