AI-auditing in de praktijk bij Achmea

Nieuws 14/08/2025

Artificial Intelligence (AI) is in 2025 hét thema binnen de auditwereld. De inzet van AI transformeert niet alleen de manier waarop organisaties werken, maar stelt ook nieuwe eisen aan governance, compliance en risicobeheersing. De opkomst van strengere regelgeving, zoals de EU AI Act, en de roep om transparantie en ethiek, maken AI-audits tot een strategisch speerpunt voor organisaties wereldwijd.

In het kader van kennisdeling spraken Reinier Roest en Tom Verharen namens de Professional Practice Group AI van IIA Nederland met Wouter Nijhof, interne auditor bij Achmea. In het gesprek deelt Wouter niet alleen de ervaringen met AI-audits binnen Achmea, ook gaat hij in op de doorgeefvraag die eerder door CZ werd gesteld: waar lag de primaire ‘push’ voor het uitvoeren van een audit of nulmeting op het gebied van AI? Op zijn beurt geeft hij een nieuwe vraag door aan de volgende organisatie in deze reeks.

De Interne Audit Functie (IAF) van Achmea

Binnen de Interne Auditafdeling van Achmea werken circa 75 medewerkers. Zes IT-auditors richten zich op verschillende aspecten van AI zoals de wetgeving, opleiding, techniek, kennisdeling en business value. Wouter: “Het is fijn om met een aantal collega’s te werken op en aan AI audits. Dit om elkaar scherp te houden en kennis te delen.”

Wouter ziet AI als een bijzondere digitale disruptie: “Voorheen moest IT een digitale verandering bijna verkopen binnen het bedrijf terwijl met AI de vraag en beweging veel meer vanuit de business komt en wordt er naar IT gekeken hoe op deze behoefte moet worden ingespeeld.”

AI heeft cruciale rol in strategie Achmea

Achmea streeft ernaar om in 2030 een volledig data-gedreven verzekeraar te zijn, waarbij AI een cruciale rol speelt. AI speelt een belangrijke rol om het verzekeringsproduct steeds verder te verbeteren.

Alle medewerkers binnen Achmea worden ondersteunt door AI. Het programma "AI en Achmea" omvat werkstromen zoals awareness, techniek, waardecreatie en verantwoord gebruik. Achmea heeft een eigen variant van ChatGPT ontwikkeld, genaamd Achmea GPT, om data intern te houden en risico's te minimaliseren.

Achmea voert verder maandelijks vakmanschapssessies uit waarbij medewerkers worden bijgepraat over actuele IT-ontwikkelingen waaronder AI. Internal Audit heeft in het kader van awareness ook het AI-rijbewijs geïntroduceerd om haar medewerkers kennis te laten opdoen over AI.

Verder vindt Achmea het belangrijk dat AI verantwoord wordt ingezet. Het dient ingezet te worden waar het waarde creëert met aandacht voor ethiek, robuustheid en duurzaamheid.

Auditen van AI

De interne auditafdeling speelt een cruciale rol in de transformatie naar een AI-gedreven organisatie door risico's te identificeren en assurance te bieden.

De praktische aanpak is altijd risk based en voor de ontwikkeling ervan wordt gebruik gemaakt van verschillende wettelijke kaders, raamwerken en informatiebronnen zoals de AI Act, Ethisch Kader Datagedreven Toepassingen (EKDT) van het Verbond van Verzekeraars, het Ethics guidelines for trustworthy AI met bijbehorende Assessment List for Trustworthy Artificial Intelligence (ALTAI), documenten/kaders vanuit de overheid (Rekenkamer, BZK), van de beroepsorganisatie van IT-Auditors (NOREA guidelines) en het NIST AI Risk Management Framework.

Wouter geeft aan dat het belangrijk is om samen met de organisatie het kader door te nemen om zo al bewustwording bij de medewerkers te creëren over de beheersing en risico’s.

De auditafdeling voert zowel beleids- als toepassingsgerichte audits uit zoals het toetsen van AI-governance en specifieke AI-toepassingen zoals AchmeaGPT en Copilot. Deze verschillende type audits wisselen ze jaarlijks af, het ene jaar meer gefocust op de algehele interne beheersing en het andere jaar gefocust op de beheersing van bepaalde AI-toepassingen.

De auditafdeling is al een aantal jaar bezig met het beoordelen van AI. Een jaar of 4 à 5 geleden begon het met een adviesrol en inmiddels wordt assurance afgegeven. Wouter ziet een brede meerwaarde in het auditen van AI: “Naast zekerheid geven de audits ook veel inzicht voor de business, de 2de lijn en Audit zelf. Dus dit versterkt de bewustwording en het leervermogen van de organisatie.”

Het auditkader wordt gezamenlijk afgestemd om ook de balans te houden tussen de auditwerkzaamheden en de AI-toepassing met bijbehorende risico’s en beheersing. Er wordt bijvoorbeeld bij de Achmea ChatGPT nog niet gekeken naar de CO2 kosten per prompt, maar wel naar de impact op duurzaamheid op langere termijn. Belangrijk om over dit soort aspecten bij aanvang van de audit aandacht te hebben. Verder is het belangrijk om altijd de business value en aansluiting bij de strategie mee te nemen in de audit.

De doorgeef vraag vanuit CZ

De doorgeefvraag van CZ aan Achmea luidt: Kwam het initiatief voor het auditen van AI vanuit de business, of juist vanuit de internal auditfunctie zelf?

Wouter Nijhof gaat in op hoe dit binnen Achmea tot stand kwam: "Het verzoek om audits komt zowel vanuit de business als vanuit de auditafdeling zelf. Het verzoek om Achmea GPT te auditen kwam vanuit de Raad van Bestuur, die vroeg om mee te kijken vanwege de versnelde introductie van deze tool. De audit op het samenvatten (met AI) van chatlogs in het klantcontactcenter was een initiatief van de auditafdeling zelf. De audit op het AI-governance beleid kwam voort uit een combinatie van proactieve benadering door de auditafdeling en verschillende verzoeken vanuit de organisatie."

Multidisciplinair auditteam nodig voor auditen AI

Het auditen van AI vraagt ook bepaalde vaardigheden van de auditor. Wouter geeft aan dat het goed is om een multidisciplinair team te hebben welke vaardigheden heeft op:

Kennis van de techniek zoals Python en/of PowerBI;
De vertaling kan maken van techniek, product naar waarde;
De betekenis van data snapt;
Ethische vraagstukken kan identificeren en analyseren;
Aandacht voor financiële stromen en operational effectiveness.

Wouter voegt toe: “Over het algemeen zijn auditors wat meer blauw. Het belang van soft controls neemt ook met AI toe, dus het is essentieel dat jouw ethische radar aanstaat.”

Tenslotte is het ook waardevol om te zorgen voor interne en externe kennisuitwisseling zoals via de CAICO trainingen, het Verbond van Verzekeraars, de IIA werkgroep en de NOREA werkgroep.

Reflecties op stellingen

Voordat we stilstaan bij de lessons learned, leggen we Wouter ook wat stellingen voor.

Stelling 1: De IAF moet zich bij AI-audits alleen richten op processen, compliance en procedures, niet op de algoritmen zelf.

Wouter: "Oneens, de auditfunctie moet zich niet alleen richten op processen en compliance, maar ook op de algoritmen zelf om te waarborgen dat deze robuust, ethisch en wettelijk zijn."

Stelling 2: De IAF moet toetsen dat AI-systemen ethisch verantwoord zijn en voldoen aan de nieuwe regelgeving.

Wouter: "Eens, het is essentieel dat AI-systemen ethisch verantwoord zijn en voldoen aan nieuwe regelgeving om indirecte discriminatie te voorkomen. Dat maakt een belangrijk onderdeel uit van responsible AI."

Stelling 3: De IAF moet toetsen dat een AI-systeem juist toegepast wordt c.q. juist geborgd zijn in de digitale processen van de organisatie"

Wouter: "Eens, AI moet juist worden toegepast en geborgd zijn in de digitale processen van de organisatie om de business case te ondersteunen."

De toekomst van AI-auditing: van advies naar formele audits

Wouter verwacht dat AI steeds meer verweven gaat zijn in processen en systemen. Dat betekent ook voor de audits dat het automatisch onderdeel gaat uitmaken van de aanpak en scope van onderzoeken. In de toekomst kijkend ziet hij dat Achmea ook steeds meer AI wilt adopteren, wat ook betekent dat audit een steeds grotere assurance rol zal krijgen op het gebied van AI in de organisatie.

Tenslotte geeft Wouter ons nog mooie lessons learned mee voor Internal Audit afdelingen die AI systemen gaan onderzoeken:

Het is belangrijk om een brede scope te hanteren bij het uitvoeren van risicoanalyses en deze vervolgens specifiek te maken;
Ben je als bedrijf en auditor bewust welke rol je hebt op het AI-systeem, ben je nu deployer, provider of distributeur?;
Blijf op de hoogte van ontwikkelingen in de markt en hoe toezichthouders hiermee omgaan;
Proactieve betrokkenheid bij data- en digitale initiatieven is cruciaal om barrières voor het gebruik van AI weg te nemen.

Vraag van Wouter voor Erasmus Medisch Centrum

Wouter wil het volgende graag weten van het Erasmus MC:

“Nemen jullie bij het auditen van de AI-toepassing ook de business case mee om te beoordelen of de waarde gerealiseerd wordt?”.

Over

Reinier Roest (Erasmus MC) en Tom Verharen (CZ) zijn beiden actief in de Professional Practice Group Artificial Intelligence (PPGAI) van IIA Nederland. Vanuit dit netwerk brengen zij interne auditors, dataspecialisten en beleidsmakers samen om de rol van internal audit in het AI-tijdperk te verkennen en te versterken. Door het delen van praktijkervaringen, zoals in deze interviewreeks, geven zij samen met de leden van de PPGAI richting aan een vakgebied in transitie.