In het kort: AI testen stopt niet bij livegang. Het model, de prompts en de data veranderen, en daarmee de antwoorden. AI monitoring betekent dat je die antwoorden blijft testen. Dat gaat in vijf stappen: kies de vragen, draai ze op vaste momenten, scoor de antwoorden, koppel elke fout aan een regel en rapporteer.

De meeste teams behandelen een AI-functie als elke andere functie. Hij wordt getest, gaat live en het team pakt het volgende op. Dan brengt de leverancier een nieuwe modelversie uit. Iemand verbetert een prompt. Er komen nieuwe documenten in de kennisbank. De functie ziet er hetzelfde uit, maar de antwoorden zijn het niet. Met AI monitoring merk je dat voordat je klanten het merken.

Waarom stopt AI testen niet bij livegang?

AI testen stopt niet bij livegang, omdat de antwoorden van een AI-toepassing kunnen veranderen terwijl je eigen code gelijk blijft. Vier dingen veranderen ze. De leverancier past een modelversie aan of stopt ermee. Je team past de prompt of de instructies aan. De documenten of data waar de AI uit put, worden aangevuld of gewijzigd. En gebruikers stellen vragen waar niemand op had gerekend. Elk van die vier kan een goed antwoord fout maken, of een veilig antwoord onveilig. Gewone monitoringtools zien dat niet. Die meten of het systeem reageert, hoe snel en wat het kost. Dan weet je dat de AI draait. Je weet niet dat hij net een klant een terugbetaling beloofde die niet in je voorwaarden staat. Daarvoor blijf je de referentievragen en misbruiktests draaien die je vóór livegang gebruikte. Wij doen dat in vijf stappen.

Stap 1: Welke vragen test je?

Test de vragen waarbij een fout antwoord je het meest kost. Haal ze uit drie bronnen. Eerst je risico’s: wat gaat er mis als de AI het fout heeft? Denk aan prijzen, contractvoorwaarden, medisch of financieel advies en persoonsgegevens. Dan de regels die voor je gelden: wetten, normen en je eigen beleid. Elke regel levert een paar testvragen op. En tot slot echte vragen van echte gebruikers, ook de vreemde. Dertig tot vijftig vragen is een goed begin. Schrijf per vraag op wat een goed antwoord moet bevatten en wat er nooit in mag staan. Neem ook vragen op waarop het juiste antwoord “dat weet ik niet” of “neem contact met ons op” is. Een AI die alles vol overtuiging beantwoordt, is zelf een risico.

Houd de set zo klein dat iemand de resultaten echt bekijkt. Uitbreiden kan later, als je ziet waar de AI moeite mee heeft.

Stap 2: Hoe vaak draai je de vragen?

Draai de hele set op een vast moment, en daarnaast na elke wijziging die je kent. Het vaste moment vangt de veranderingen die je niet zelf in de hand hebt, zoals een stille modelupdate bij de leverancier. Wekelijks werkt voor de meeste toepassingen. Dagelijks is zinvol als de AI op grote schaal met klanten praat. Een run na een bekende wijziging werkt als een regressietest. Een nieuwe prompt, modelversie of lading documenten gaat nooit live zonder run. Gebruik altijd dezelfde set en dezelfde manier van scoren. Alleen dan kun je resultaten over tijd vergelijken. Verander je elke week de vragen, dan weet je niet of de AI slechter werd of de test moeilijker.

Stap 3: Hoe beoordeel je een antwoord dat steeds anders is?

Je beoordeelt het met criteria en geeft het een score. Je vergelijkt het dus niet woord voor woord met één goed antwoord. Stel dezelfde AI twee keer dezelfde vraag en de formulering verandert. Soms verandert de inhoud ook. Een simpele geslaagd of gezakt op één exacte tekst werkt dus niet. Toets elk antwoord daarom op een paar punten. Klopt het? Is het volledig? Blijft het binnen wat je bedrijf echt aanbiedt? Weigert het wat het moet weigeren? Sommige controles zijn makkelijk te automatiseren, zoals of een prijs of datum klopt. Andere vragen om een mens, of om een tweede model dat het antwoord beoordeelt. Dat heet vaak LLM-evaluatie. Stel belangrijke vragen meer dan één keer en kijk naar de spreiding, niet naar één uitkomst.

Spreek vooraf drempels af. Welke score is goed genoeg, en welke houdt een release tegen?

Stap 4: Wat doe je met een fout antwoord?

Koppel elk fout antwoord aan de regel die het breekt, en geef het een prioriteit. Met een lijst van vijftig fouten kan niemand iets. Koppel je een fout aan een wet, norm of je eigen beleid, dan zie je waarom hij ertoe doet. En wie in actie moet komen. Verkeerde openingstijden zijn vervelend. Advies dat een financiële regel overtreedt, is iets anders. Raamwerken helpen je het risico te benoemen. De OWASP Top 10 voor LLM-toepassingen beschrijft beveiligingsrisico’s zoals prompt injection en misinformatie. Het NIST AI Risk Management Framework geeft structuur om AI-risico’s te meten en te beheersen. Leg per fout de vraag, de prompt, het antwoord en de score vast. Dan kan het team de fout nadoen, oplossen en in de volgende run zien of de oplossing werkt.

Stap 5: Wie moet de resultaten zien?

Twee groepen hebben de resultaten nodig, en ze hebben elk een ander beeld nodig. Het management wil de trend zien: wordt de AI-toepassing beter of slechter, en waar zitten de grootste risico’s? Het team wil de details: welke vraag ging fout, met welke prompt, wat antwoordde de AI en wat los je eerst op? Zonder het eerste beeld blijft AI-risico onzichtbaar voor de mensen die ervoor verantwoordelijk zijn. Zonder het tweede kan niemand iets oplossen. Voor sommige systemen is dit ook een wettelijke plicht. Onder de AI-verordening hebben aanbieders van AI-systemen met een hoog risico een vastgelegd monitoringsysteem nodig. Dat loopt zolang het systeem bestaat (artikel 72). Daarna begint de cirkel opnieuw: nieuwe vragen uit wat je vond, de volgende vaste run, het volgende rapport.

Wat betekent dit voor je team?

Begin klein, maar begin voordat er iets misgaat. Kies deze week dertig vragen, schrijf op hoe een goed antwoord eruitziet en draai ze één keer. Die eerste run laat vaak antwoorden zien die sinds livegang niemand meer heeft bekeken. Spreek daarna af wie de resultaten bekijkt en hoe vaak.

Het lastige deel komt na een paar maanden. De vragen stapelen zich op, runs worden overgeslagen en niemand kan zeggen of de AI beter of slechter werd. Een spreadsheet met vragen en antwoorden houdt dat niet lang vol. Daarom hebben we VeritasAI gebouwd, onze eigen tool om AI-toepassingen te testen. Daarmee testen we je AI-toepassing als dienst, precies volgens deze vijf stappen. VeritasAI draait de vragen op vaste momenten en geeft de antwoorden een score. Elke fout koppelt het aan de wet, regelgeving of het raamwerk waar die bij hoort. Een managementdashboard laat zien hoe je AI-toepassing het over tijd doet. Een operationeel dashboard laat zien welke vragen fout gaan, met de prompt, het antwoord en een prioriteitsscore. Lees hoe dat werkt op onze pagina over AI Compliance Testing.

Veelgestelde vragen

Wat is het verschil tussen AI monitoring en AI testen?

AI testen controleert of de antwoorden kloppen, volledig zijn en mogen. AI monitoring betekent vaak alleen bijhouden of het systeem draait, hoe snel en tegen welke kosten. Je hebt beide nodig. Doorlopend AI testen combineert ze: dezelfde controles op de antwoorden, herhaald in productie.

Hoe vaak moet je een AI-toepassing testen?

Draai je testset op een vast moment, voor de meeste toepassingen wekelijks, en na elke wijziging in model, prompt of data. Toepassingen die met veel klanten praten of advies geven in een gereguleerde sector hebben vaker een run nodig.

Verplicht de AI-verordening monitoring na livegang?

Ja, voor AI-systemen met een hoog risico. Artikel 72 verplicht aanbieders om een systeem voor monitoring na het in de handel brengen op te zetten en vast te leggen. Dat systeem verzamelt en analyseert gegevens over de prestaties, zolang het AI-systeem bestaat. Voor andere systemen is het geen wettelijke plicht, maar wel de enige manier om te weten dat je AI goed blijft antwoorden.

Kun je LLM-evaluatie automatiseren?

Voor een deel. Feitelijke controles, zoals prijzen, datums en of een weigering plaatsvindt, zijn makkelijk te automatiseren. Een tweede model kan antwoorden beoordelen op criteria. Antwoorden met juridische of financiële gevolgen hebben nog steeds een menselijke beoordelaar nodig, op zijn minst bij een steekproef.