De verleiding van zekerheid – AI en soft controls

AI vindt in hoog tempo zijn weg naar het werk van de internal auditor. Het helpt ons informatie sneller te doorgronden, patronen te herkennen, analyses uit te voeren en grote hoeveelheden gegevens terug te brengen tot ogenschijnlijk heldere conclusies. Dat biedt kansen, zeker voor kleinere internal auditfuncties waar tijd en capaciteit schaars zijn.

Maar naast alle aandacht voor wat AI kan, is er een andere vraag die minstens zo interessant is: wat doet het gebruik van AI met óns?

Wat gebeurt er met ons professionele oordeel wanneer een systeem een overtuigend antwoord geeft? Blijven we ons even verantwoordelijk voelen voor een conclusie wanneer we de onderliggende analyse niet volledig zelf hebben uitgevoerd? En hoe gemakkelijk spreken we een technologie tegen die in veel gevallen sneller en misschien zelfs beter analyseert dan wijzelf?

Dit zijn geen technische vragen. Het zijn gedragsvragen. En daarmee zijn het ook vragen over soft controls.

Soft controls zijn de factoren in de werkomgeving die beïnvloeden hoe mensen zich daadwerkelijk gedragen. Denk aan Helderheid, Voorbeeldgedrag, Betrokkenheid, Uitvoerbaarheid, Transparantie, Bespreekbaarheid, Aanspreekbaarheid en Handhaving. Deze gedrag beïnvloedende factoren kunnen bepalen hoe professionals zich tot AI gaan verhouden.

Van wie is de conclusie als AI de analyse heeft gedaan?

Stel: AI heeft het grootste deel van een complexe analyse uitgevoerd. Jij hebt de uitkomsten bekeken, ze lijken logisch en je neemt ze over in je rapport.

Van wie is die conclusie dan?

Formeel is het antwoord waarschijnlijk eenvoudig: als professional blijf je verantwoordelijk voor je eigen oordeel. Psychologisch ligt dat mogelijk ingewikkelder. Er is een verschil tussen zeggen: "Dit is mijn conclusie" en "Dit kwam uit de analyse".

AI kan daarmee ongemerkt afstand creëren tussen degene die een conclusie presenteert en het gevoel van eigenaarschap over die conclusie.

Hier worden verschillende soft controls relevant. Helderheid gaat bijvoorbeeld over de vraag of voldoende helder is wat we van professionals verwachten bij het gebruik van AI. Waarvoor gebruiken we AI? Wat moet iemand zelf valideren? En waar blijft menselijk oordeel noodzakelijk?

Betrokkenheid gaat een stap verder. Ook als formeel helder is wie verantwoordelijk is, voelt iemand zich dan daadwerkelijk eigenaar van een AI-ondersteunde conclusie?

Ook Voorbeeldgedrag speelt een rol. Wat zien medewerkers bij hun leidinggevenden? Nemen zij nadrukkelijk verantwoordelijkheid voor besluiten die mede op AI zijn gebaseerd, of wordt gemakkelijker verwezen naar het systeem, het model of de data?

En ten slotte is er Uitvoerbaarheid. Je kunt van professionals verwachten dat ze AI-uitkomsten kritisch beoordelen, maar hebben zij daarvoor ook de kennis, tijd en mogelijkheden?

Een interessante gedachtevraag is daarom: Als AI 80% van de analyse heeft gedaan en jij de conclusie overneemt, voelt die conclusie dan nog voor 100% van jou?

AI verandert de formele verantwoordelijkheid misschien niet. Maar het kan wel veranderen hoe sterk we die verantwoordelijkheid ervaren.

Durven we nog te zeggen: volgens mij klopt dit niet?

Professioneel scepticisme behoort tot het gereedschap van de auditor. Maar AI introduceert daarin een interessante dynamiek.

Stel dat een analyse er overtuigend uitziet. De onderliggende dataset is omvangrijk, het antwoord klinkt logisch en collega's hebben geen bezwaren. Toch heb jij het gevoel dat er iets niet klopt.

Wat doe je?

Professioneel scepticisme is gemakkelijk zolang je een concreet argument hebt. Interessanter wordt het wanneer je alleen twijfel hebt. Durven we dan te zeggen: "Ik weet niet precies waarom, maar ik wil hier toch nog eens naar kijken"?

Daar komt Bespreekbaarheid in beeld. Is er voldoende ruimte om onzekerheid of twijfel over een AI-uitkomst naar voren te brengen, ook wanneer iemand nog niet kan aantonen dat die uitkomst fout is?

Daar ligt een directe relatie met Aanspreekbaarheid. Spreken collega's elkaar erop aan wanneer AI-uitkomsten te gemakkelijk worden overgenomen? Stellen we elkaar nog de vraag: "Maar wat vind jij zelf?"

Ook hier doet Voorbeeldgedrag ertoe. Wat gebeurt er wanneer iemand een overtuigende AI-analyse ter discussie stelt? Wordt dat gezien als professioneel kritisch gedrag of vooral als vertraging?

En wederom speelt Uitvoerbaarheid een rol. Zeker in kleinere auditfuncties kan tijdsdruk groot zijn. Als AI juist wordt ingezet om efficiënter te werken, ontstaat een interessante paradox: hoeveel ruimte geven we onszelf dan nog om de efficiënte uitkomst opnieuw ter discussie te stellen?

Professioneel scepticisme is daarmee niet alleen een individuele competentie. De omgeving bepaalt mede of we onze twijfel daadwerkelijk onderzoeken en uitspreken.

Wanneer wordt ondersteunend ongemerkt leidend?

Misschien ligt hier wel het meest fundamentele vraagstuk. Op dit moment spreken we vaak over AI als ondersteuning van professioneel oordeel. De professional blijft in the lead. Maar wat gebeurt er wanneer AI steeds vaker met overtuigende analyses en adviezen komt?

Stel als gedachte-experiment dat een AI-toepassing het in 95 van de 100 gevallen beter blijkt te hebben dan jij. Hoe lang blijf je bij geval 96 nog volledig zelfstandig nadenken?

Dit gaat niet over de vraag of AI betrouwbaar of onbetrouwbaar is. Het gaat over wat herhaaldelijke betrouwbare ondersteuning met ons eigen gedrag kan doen.

Ook hier helpt de soft-controlsbril. Helderheid gaat over de vraag welke rol AI heeft in het besluitvormingsproces en waar het professionele oordeel begint en eindigt.

Voorbeeldgedrag raakt aan wat zichtbaar wordt gewaardeerd. Ligt de nadruk vooral op snelheid, innovatie en efficiëntie? Of laten leidinggevenden ook zien dat vertragen, twijfelen en afwijken waardevol kunnen zijn?

Aanspreekbaarheid betekent in deze context dat we elkaar blijven uitdagen om de eigen redenering te verwoorden, ook wanneer een AI-uitkomst overtuigend lijkt.

En Handhaving gaat over de consequenties van gedrag. Wordt een kritische houding positief bekrachtigd? Wat gebeurt er wanneer iemand terecht een AI-uitkomst ter discussie stelt? En omgekeerd: wordt te gemakkelijk vertrouwen op AI ook gecorrigeerd?

De uitdaging is daarmee niet alleen dat we AI verkeerd kunnen gebruiken. Een minstens zo interessante vraag is: Wat doet langdurig en succesvol gebruik van AI uiteindelijk met ons eigen professionele oordeel?

De acht soft controls als gedragslens voor AI

De koppeling tussen AI en soft controls betekent niet dat er acht nieuwe 'AI-risico's' zijn. De soft controls bieden vooral een lens om te onderzoeken welke omstandigheden ons gedrag rond AI beïnvloeden:

• Helderheid: Weten we wat van ons wordt verwacht bij het gebruik van AI en waar eigen professioneel oordeel noodzakelijk blijft?
• Voorbeeldgedrag: Welk gedrag laten leidinggevenden zelf zien rond vertrouwen, twijfel en AI?
• Betrokkenheid: Blijven professionals zich eigenaar voelen van AI-ondersteunde conclusies?
• Uitvoerbaarheid: Hebben zij de tijd, kennis en mogelijkheden om AI kritisch te gebruiken?
• Transparantie: Kunnen zij voldoende doorgronden hoe informatie en conclusies tot stand komen om daar bewust op te handelen?
• Bespreekbaarheid: Is er ruimte om twijfel, onzekerheid en zorgen over AI-uitkomsten te bespreken?
• Aanspreekbaarheid: Spreken professionals elkaar aan wanneer AI te gemakkelijk of onkritisch wordt gebruikt?
• Handhaving: Welk gedrag rondom AI wordt gewaardeerd en bekrachtigd, en welk gedrag wordt gecorrigeerd of begrensd?

Wat doet het gebruik van AI met ons gedrag

Bij AI ligt begrijpelijkerwijs veel aandacht op technische en formele beheersing. Hoe betrouwbaar zijn modellen? Hoe gaan we om met data, privacy en beveiliging? Welke governance organiseren we rond het gebruik ervan?

Maar uiteindelijk bepaalt technologie niet zelfstandig wat ermee gebeurt. Mensen kiezen wanneer zij AI gebruiken, hoeveel gewicht zij aan een uitkomst geven, wanneer ze doorvragen en of zij verantwoordelijkheid blijven nemen.

Daarom is naast de vraag "Kunnen we AI vertrouwen?" een tweede vraag nodig: "Wat doet het gebruik van AI met ons gedrag?"

Juist in een wereld, waarin onzekerheid, complexiteit en onvoorspelbaarheid een steeds grotere rol spelen, is die vraag relevant. AI kan helpen om complexe informatie te doorgronden. Maar overtuigende antwoorden kunnen ons tegelijkertijd verleiden tot een gevoel van zekerheid.

Misschien is dat wel de paradox. Naarmate technologie overtuigender wordt, wordt het belangrijker dat de omgeving ons stimuleert om zelf te blijven denken, twijfelen, bespreken en aanspreken. Want de toekomst van internal audit wordt niet alleen bepaald door hoe goed AI wordt. Minstens zo bepalend is hoe wij ons gedragen wanneer AI steeds beter wordt.

Corine Tol (Director Cultural & Behavioral Risk KPMG) en Quinty Danko (Manager Cultural & Behavioral Risk KPMG)