AI-auditing in de praktijk bij CZ

 

Artificial Intelligence (AI) is in 2025 hét thema binnen de auditwereld. De inzet van AI transformeert niet alleen de manier waarop organisaties werken, maar stelt ook nieuwe eisen aan governance, compliance en risicobeheersing. De opkomst van strengere regelgeving, zoals de EU AI Act, en de roep om transparantie en ethiek, maken AI-audits tot een strategisch speerpunt voor organisaties wereldwijd. 

Zoëlle Yusufi en Frank Lubbers spraken namens de Professional Practice Group Artifical Intelligence (PPGAI) van IIA Nederland met Jurgen Pertijs, Frank Kesseler en Tom Verharen van CZ, een organisatie die graag vooroploopt in de integratie van AI in haar dienstverlening. In dit artikel delen zij hun ervaringen, aanpak en visie op de toekomst van AI-auditing.

De Interne Audit Functie (IAF) van CZ

CZ is in 1930 opgericht om iedereen goede zorg te bieden tegen een betaalbare premie. Nu, ruim 95 jaar later, en met ruim 4 miljoen verzekerden is dat nog steeds de drijfveer.

Jurgen, Frank en Tom zijn samen met nog circa 20 collega’s werkzaam voor de Interne Audit Functie (IAF) binnen CZ. In de IAF werken zowel financiële, operationele als IT auditors steeds meer integraal samen.

Als IAF dragen zij proactief bij aan de strategische doelstellingen van CZ door zekerheid en inzicht te verschaffen over de werking van interne beheersmaatregelen en de juistheid van door CZ aangeleverde verantwoordingen aan diverse ketenpartijen. Daarbij willen zij actief verbinden, kennisdelen en een bijdrage leveren aan het verbeteren van de interne en externe samenwerking. Als IAF van CZ vinden zij betrouwbare inzet van AI belangrijk en zitten hier bovenop.

De verzekerden, zorgpartners en collega’s moeten op CZ kunnen rekenen dat zij zorgvuldig met besluiten en data omgaan. Nog los van dat dit ook vereist wordt vanuit regel- en wetgeving en de aan CZ gelieerde externe toezichthouders.

Jurgen is senior manager binnen de auditafdeling van CZ. Hij is opgeleid als IT- en operational auditor. Hij werkt inmiddels ruim 16 jaar bij CZ. Hij is medeauteur van het NBA-LIO NOREA volwassenheidsmodel informatiebeveiliging en betrokken bij de initiatiefgroep voor de International Digital Reporting Standards (IDRS).

Frank is internal auditor binnen de auditafdeling. Hij werkt bijna 2 jaar bij CZ en is bezig met de opleiding tot Register Accountant aan Nyenrode. Voor de stap naar de auditafdeling van CZ heeft Frank Economie & Beleid en Bestuurskunde gestudeerd.

Tom is manager bij de auditafdeling en is 8 jaar werkzaam als IT auditor voor CZ. Bij NOREA zit hij in de werkgroepen voor Cybersecurity en IDRS. Bij IIA Nederland zit hij in de PPGAI. Tom is medeauteur van het NOREA Security Operations Center Framework.

Multidisciplinair en toekomstgericht

Als Jurgen wordt gevraagd naar de AI-strategie en governance van CZ en welke rol de Interne Audit Functie heeft bij de evaluatie van AI-systemen, vertelt hij: “In 2024 zijn we gestart met onze CZ-strategie 2030. Deze strategie draait om twee doelen: onze verzekerden toegang bieden tot de zorg die zij nodig hebben, en zorgen voor een betaalbare en concurrerende premie. Om deze doelen te realiseren, hebben we een vijftal strategische thema’s benoemd waarop onze zich de komende jaren richt. Deze thema’s zijn: waar onze focus als CZ organisatie naar uitgaat. Dit betreft: 

1. het helpen van onze verzekerden om de juiste zorg op het juiste moment te krijgen;
2. het innoveren en transformeren van het zorgveld in coalitie met veldpartijen (zoals zorgaanbieders en gemeenten);
3. het beheersen van zorg- en organisatiekosten;
4. het op de markt brengen van een passend en onderscheidend aanbod van verzekeringen en diensten; en
5. het verder digitaliseren en automatiseren van onze dienstverlening en organisatie.

Om hier gericht aan te kunnen werken, hebben we ook binnen onze organisatie een stuk transformatie (vernieuwing en versnelling) nodig. In dit kader werken wij enerzijds aan onze organisatie-inrichting, sterk leiderschap en bedrijfscultuur, en anderzijds aan een flexibel en veilig IT-landschap en de beschikbaarheid en kwaliteit van onze data opdat wij steeds slimmer, sneller en wendbaarder kunnen werken.

CZ heeft een duidelijke AI-strategie ontwikkeld, gericht op het optimaliseren van persoonlijke diensten en het efficiënter maken van interne processen. De strategie omvat zowel klantgerichte toepassingen als interne efficiëntieverbeteringen.

Om grip te houden op de AI-strategie en te voldoen aan compliance eisen, is bij CZ een GenAI Competence Center opgericht. Het GenAI Competence Center bestaat uit verschillende werkstromen welke zich richten op het aansluiten bij de strategie, de governance, de architectuur en het verandermanagement, naast het onderzoeken en bouwen van GenAI oplossingen.

Als IAF hebben we direct de samenwerking opgezocht met het AI Competence Center. Hierin werken we met verschillende disciplines samen, waaronder de divisie Data & IT, de Divisies Operations & Klant en Markt, Juridische Zaken, Compliance, Informatiebeveiliging en Internal Audit. De samenwerking zorgt voor een integrale benadering op AI en borgt dat compliance en ethiek structureel worden meegenomen”, aldus Jurgen

Gestructureerd en gebaseerd op standaarden

CZ heeft zorgvuldig nagedacht over de opzet en inrichting van haar auditaanpak rond AI. “We hebben een aantal sessies gehad met Data & IT, Compliance, Informatiebeveiliging en Juridische Zaken, waarin we hebben gekeken naar hoe we grip kunnen krijgen op AI en hoe we dat kunnen borgen binnen onze dienstverlening,” vertelt Tom.

“We hebben vanuit de IAF een 0-meting uitgevoerd en daarbij gekeken naar AI Governance & Management en we hebben twee specifieke AI-toepassingen beoordeeld waaronder de chatbot voor vergoedingsvragen voor onze klanten. 

Om tot het raamwerk te komen voor de AI 0-meting hebben we in april 2024 verschillende frameworks met elkaar vergeleken zoals:

• het NIST AI Risk Management Framework; 
• het ISO 42001:2023 AI Management System;
• het EY AI Framework;
• het GAO Artificial Intelligence framework;
• het ALTAI-model (The Assessment List for Trustworthy Artificial Intelligence);
• en het NOREA Guiding Principles Trustworthy AI Investigations.

Om dicht bij de AI Act te blijven hebben we gekozen voor het ALTAI-model en de ISO 24001. Het GAO-model hielden we achter de hand vanwege de duidelijke audit procedures als verdieping op de ISO/ALTAI.

De keuze voor het ALTAI-model bleek later in september 2024 ook mooi aan te sluiten bij de kennis welke opgedaan is tijdens de opleiding van AI Compliance Officer. In het theoriegedeelte en de praktijksessie van deze opleiding wordt namelijk gebruik gemaakt van het ALTAI-model. We krijgen in Nederland veel AI compliance officers welke bekend zijn met ALTAI-model.”

Frank geeft aan dat de ALTAI-assessment is omgezet naar een framework. “Bij de uitvoering van de 0-meting is het framework gebruikt om de huidige situatie in kaart te brengen en om de verwachtingen en ambities te bespreken.”

Onderstaand een overzicht van het opgestelde framework op basis van ISO 42001 en het ALTAI-model.

“Na afronding hebben wij de resultaten van 0-meting samen met het AI Competence Center teruggekoppeld aan het bestuur via een aparte sessie, zodat de inzichten uit ons onderzoek direct bijdragen aan de strategische besluitvorming”, aldus Frank.

De rol van de Internal Audit Functie bij AI-audits

In het interview leggen we de experts van CZ enkele stellingen voor over de rol van de Internal Audit Functie (IAF) bij het auditen van AI-systemen. Hoe kijken zij aan tegen het verantwoordelijkheidsgebied van de IAF in een snel digitaliserende omgeving?

Stelling 1: De Internal Audit Functie (IAF) moet zich bij AI-audits alleen richten op processen, compliance en procedures, niet op de algoritmen zelf.

Jurgen: “Wij zijn het hier gedeeltelijk mee eens. Focus op processen, ethiek en compliance is essentieel, maar we zullen ook naar de input, het algoritme en de uitkomsten gaan kijken. Het beoordelen van algoritmen vraagt wel om specifieke expertise. Die halen we mogelijk waar nodig extern. In eerste instantie hangt de beoordeling van het algoritme ook af van de materialiteit en belang voor de dienstverlening.”

Stelling 2: De IAF moet toetsen dat AI-systemen ethisch verantwoord zijn en voldoen aan de nieuwe regelgeving.

Tom: “Hier zijn we het volledig mee eens. Binnen het three lines model ligt de primaire ethische toetsing bij de eerste en tweede lijn, maar de IAF controleert of deze processen goed zijn ingericht en worden nageleefd.”

Stelling 3: De IAF moet toetsen dat een AI-systeem juist wordt toegepast en is geborgd in de digitale processen van de organisatie.

Tom: “Absoluut. De IAF controleert of AI-systemen correct zijn geïntegreerd en waarde toevoegen aan de organisatie. “Binnen CZ  hebben we een portfolioproces op basis van SAFe (Scaled Agile Framework). Aan de voorkant van het proces wordt direct gekeken naar waarde van de ontwikkeling en de kaders (waaronder de digitale processen) voor ontwikkeling en beheer van de AI toepassing.”
 

V.l.n.r. Frank Kesseler, Tom Verharen en Jurgen Petrijs

De toekomst van AI-auditing: van advies naar formele audits

Als er wordt gevraagd naar de (toekomstige) rol van de IAF antwoordt Tom: “De 0-meting is een belangrijke eerste stap geweest. We willen doorgroeien naar formele audits op AI-toepassingen, inclusief het geven van assurance.”

Frank vult aan: “Belangrijke thema’s zijn governance, datakwaliteit en het continu ontwikkelen van AI-vaardigheden binnen de IAF. AI wordt steeds verder geïntegreerd in onze strategie, diensten en processen. Het is essentieel dat we als organisatie én als auditfunctie blijven leren en ons aanpassen aan nieuwe ontwikkelingen.”

Tot slot Frank: “Net als de 1ste lijn, dienen ook de 2de en 3de lijn te zorgen dat voldoende kennis op AI aanwezig is. Als 3de lijn hebben we ook de opleiding tot AI Compliance Officer gevolgd om meer kennis en (be)grip te krijgen over AI, betrouwbare AI en de AI Act. Ook proberen we AI toepassingen te bekijken vanuit verschillende invalshoeken met de verschillende kennis binnen de IAF.

Samenwerking met andere afdelingen en externe experts blijft daarbij belangrijk.”

Adviezen en lessen: gewoon beginnen en werk multidisciplinair

Het belangrijkste advies van Jurgen, Frank en Tom : “Begin gewoon met AI-audits, wacht niet op volledige richtlijnen van beroepsverenigingen. Leer al doende en zorg voor een multidisciplinaire aanpak en werk hierin samen met andere disciplines. Deze verbinding vergroot ook elkaars werkplezier.”

Het AI Competence Center van CZ is een goed voorbeeld van een multidisciplinaire aanpak. Daarnaast vindt zij het van belang om de AI-geletterdheid van de organisatie te vergroten. Jurgen: “Als CZ hebben we een programma gestart met opleidingen en kennissessies voor onze medewerkers”. Maak medewerkers bewust van de waarde, risico’s en mogelijkheden van AI en betrek gebruikers en materiedeskundigen bij het auditproces. Zo zorg je dat AI-audits daadwerkelijk bijdragen aan de strategische doelstellingen van de organisatie vult Tom aan.

Frank: “Aan het normenkader hebben we zelf twee aspecten toegevoegd, namelijk business waarde met adoptie en leveranciers/contracten. Business waarde om te bekijken op welke wijze de business value of Epic Value Statement behaald en wordt opgevolgd. Adoptie is toegevoegd om te bekijken of we klaar zijn om gebruik te maken AI.

Leveranciers/contracten is bekeken vanuit het oogpunt hoe we grip houden op AI-toepassingen in applicaties welke we afnemen of willen gaan afnemen.”

Vraag van CZ aan Achmea

In het kader van kennisdeling binnen de auditgemeenschap, willen we graag een vraag doorgeven aan de volgende organisatie die we interviewen voor IIA:

Is het initiatief voor het uitvoeren van een audit of nulmeting binnen uw organisatie genomen door de Internal Audit Functie (IAF), of kwam de vraag juist vanuit het management of een andere organisatie-eenheid? Met andere woorden: waar lag de primaire ‘push’ voor deze audit en wat was hiervoor de aanleiding?

Slotwoord: Frank Lubbers en Zoëlle Yusufi

AI-auditing is in 2025 niet langer een toekomstbeeld, maar dagelijkse realiteit. CZ laat zien dat een gestructureerde, multidisciplinaire en proactieve aanpak essentieel is om AI verantwoord en effectief te auditen. Daarmee wordt niet alleen aan wet- en regelgeving voldaan, maar wordt ook het vertrouwen in AI-systemen en de organisatie als geheel versterkt.
 

Zoëlle Yusufi RVO IT Audit Advise & Strategy Voorzitter van de PPGAI	Frank Lubbers Achmea Senior Internal Audit Manager Lid van de PPGAI