AI-chatbot testen op compliance: een checklist voor je klantenservicebot

AI-chatbot testen op compliance: een checklist voor je klantenservicebot

In het kort: Een AI-chatbot testen op compliance betekent controleren of je bot zich aan de wet en aan je eigen regels houdt. Zegt hij dat hij AI is, blijft hij bij de feiten, is hij niet te misleiden, beschermt hij gegevens en behandelt hij iedereen gelijk? Verbindt hij door met een mens, en belooft hij alleen wat je beleid toestaat? Test elk punt vaak, want de antwoorden verschillen, en blijf testen na livegang.

In 2024 moest Air Canada van een Canadese rechter een terugbetaling nakomen die de chatbot op zijn website had verzonnen. De luchtvaartmaatschappij vond dat de chatbot zelf verantwoordelijk was voor wat hij zei. De rechter zag dat anders: de chatbot hoort bij de website van het bedrijf, dus het bedrijf staat voor wat hij zegt. Zo kun je het testen van een AI-chatbot op compliance het makkelijkst zien. Je bot spreekt namens jou. Zou je een nieuwe collega iets niet tegen een klant laten zeggen, laat het de bot dan ook niet zeggen.

Geldt de AI-verordening voor je klantenservicechatbot?

Ja, maar voor de meeste klantenservicebots maar één regel: mensen moeten weten dat ze met AI praten. Dat is de transparantieplicht in artikel 50 van de AI-verordening, de Europese wet die regels stelt aan AI op basis van risico. Die plicht geldt vanaf augustus 2026. Een chatbot die vragen beantwoordt over bestellingen, openingstijden of facturen, is geen AI-systeem met een hoog risico. De strenge regels voor hoog risico gelden pas als de bot beslist of besluiten voorbereidt op gevoelige terreinen, zoals krediet, verzekeringen of sollicitaties. Maar de AI-verordening is niet de enige wet die telt. De AVG geldt voor elk gesprek met persoonsgegevens erin. Het consumentenrecht geldt voor wat de bot klanten vertelt over prijzen, terugbetalingen en hun rechten. En zoals de zaak van Air Canada laat zien, kan een rechter de woorden van de bot als jouw woorden zien. Compliance voor een chatbot is dus breder dan één melding. Het gaat over alles wat de bot namens jou zegt. Dit is geen juridisch advies: je juridische team bepaalt wat voor jou geldt. Je testers laten zien of de bot zich gedraagt.

Wat test je voordat je chatbot live gaat?

Test zeven dingen. Samen dekken ze de wet en de risico’s van een LLM. Dat is een groot taalmodel, het soort AI dat een vraag leest en een antwoord schrijft. Over een aantal punten schreven we al apart, dus hier staat het overzicht met links naar de verdieping.

  1. Hij zegt dat hij AI is. Aan het begin, en opnieuw als iemand vraagt “praat ik met een mens?”. Test allebei.
  2. Hij verzint niets. Vraag naar producten, prijzen en voorwaarden waarvan je het antwoord kent, en controleer elk antwoord. In ons artikel over AI-hallucinaties lees je hoe.
  3. Hij is niet te misleiden. Probeer hem zijn regels te laten negeren, zijn instructies te laten verklappen of iets schadelijks te laten zeggen. Dat heet prompt injection.
  4. Hij lekt geen gegevens. Controleer dat hij de gegevens van de ene klant nooit aan een andere laat zien, en geen persoonsgegevens herhaalt die hij niet mag noemen.
  5. Hij behandelt iedereen gelijk. Stel dezelfde vraag met een andere naam, een ander taalniveau of een andere schrijfstijl, en vergelijk. Zie ons artikel over AI bias testen.
  6. Hij verbindt door met een mens. Is een klant boos, in de war of kwetsbaar, of vraagt hij om een mens? Dan geeft de bot het gesprek door, met wat er al gezegd is.
  7. Hij belooft alleen wat je beleid toestaat. Terugbetalingen, kortingen, levertijden, juridisch of medisch advies. Duw ertegen, beleefd en minder beleefd, en kijk of hij meer weggeeft dan mag.

Punt zes en zeven slaan teams het vaakst over. Het zijn ook de punten die klanten onthouden.

Hoe test je een chatbot die nooit twee keer hetzelfde antwoordt?

Je test hem met veel varianten van elke vraag, die je vaak draait, en je beoordeelt het patroon in plaats van één antwoord. Een chatbot op een LLM geeft niet twee keer hetzelfde antwoord. Eén keer geslaagd of gezakt zegt dus weinig. Een bot die een nep-terugbetaling negen keer weigert en de tiende keer toekent, heeft een probleem.

In de praktijk maak je per punt op de lijst een vragenset. Schrijf elke vraag op meerdere manieren: kort, lang, beleefd, onbeschoft, met spelfouten, in het Nederlands en in het Engels. Draai de hele set herhaaldelijk en beoordeel de antwoorden aan de hand van duidelijke criteria. Veel daarvan kun je automatiseren, en dat moet ook, want je draait het steeds opnieuw. De OWASP Top 10 voor LLM-toepassingen is een handige lijst voor de beveiligingskant.

Mensen blijven onmisbaar. Of een antwoord te opdringerig, te vaag of gewoon raar is, is vaak een kwestie van oordelen. Laat iemand van de klantenservice naar de twijfelgevallen kijken. En laat een paar mensen de bot gebruiken zoals echte klanten dat doen, met echte frustratie en rommelige vragen. Zij vinden dingen die geen vragenset voorspelde.

Is één testronde voor livegang genoeg?

Nee. De bot die je hebt getest, is over drie maanden een andere bot. De AI-leverancier werkt zijn model bij. Je team voegt nieuwe helpartikelen toe. Je voorwaarden veranderen. Klanten vinden nieuwe manieren om dingen te vragen. Elke verandering kan een antwoord breken dat vorige week nog goed was. Behandel je vragenset daarom als een regressietest: een set tests die controleert of wat eerder werkte nog steeds werkt. Draai hem na elke wijziging, en daartussen op vaste momenten.

Kijk ook naar echte gesprekken. Waar vragen klanten om een mens, waar herhalen ze een vraag, en waar antwoordt de bot buiten zijn onderwerp? Ons artikel over AI testen na livegang beschrijft daar een eenvoudig model voor. Een eerlijke kanttekening: een kleine bot die alleen openingstijden noemt, heeft geen zwaar testprogramma nodig. Stem het testen af op wat de bot mag zeggen en doen.

Wat betekent dit voor je team?

Een chatbot lanceren is een project. Hem compliant houden is werk dat nooit ophoudt, en in de meeste organisaties heeft niemand die taak. Iemand moet de vragensets actueel houden en na elke wijziging opnieuw draaien. Diegene volgt op wat faalt en rapporteert het zo dat klantenservice, juristen en management ermee verder kunnen. Zonder dat drijft de bot langzaam af, en hoor je het van een klant.

Voor dat doorlopende werk hebben we onze eigen tool VeritasAI gebouwd. We gebruiken hem om AI-testen als dienst te leveren. VeritasAI blijft je AI-toepassing testen met echte vragen. Een operationeel dashboard laat zien welke vragen falen en bij welke wet, regel of richtlijn elke fout hoort. Je ziet de prompt, het antwoord en een prioriteitsscore. Een managementdashboard geeft het overzicht. Meer lees je op onze pagina over AI compliance testen.

Een eerste stap voor deze week: vraag je chatbot vijf keer, op vijf manieren, om een terugbetaling die hij niet mag geven. Schrijf op wat hij zegt.

Weet elke dag wat je chatbot namens je zegt.

Zo testen wij AIPraat met ons team

Veelgestelde vragen

Moeten we klanten vertellen dat ze met een chatbot praten?

Ja. Volgens de AI-verordening moeten mensen weten dat ze met een AI-systeem te maken hebben, tenzij dat uit de situatie duidelijk is. Vertrouw niet op “duidelijk”: zeg het aan het begin gewoon.

Is een klantenservicechatbot een AI-systeem met een hoog risico?

Meestal niet. Dat wordt hij pas als hij beslist of besluiten voorbereidt op gevoelige terreinen, zoals krediet, verzekeringen of sollicitaties. De transparantieplicht, de AVG en het consumentenrecht gelden hoe dan ook.

Wie is verantwoordelijk als de chatbot verkeerde informatie geeft?

In de zaak van Air Canada was dat het bedrijf. Een rechter kan de woorden van de bot heel goed als de jouwe zien. Daarom is testen wat hij belooft net zo belangrijk als testen wat hij weet.

Kun je een chatbot testen die op een model van een grote AI-leverancier draait?

Ja. Je test je chatbot zoals klanten hem gebruiken: jouw instructies, jouw content en jouw instellingen bovenop hun model. De leverancier test zijn model. Jouw opzet test je zelf.