Datalek door AI: zo test je of je AI-toepassing gegevens weggeeft

Datalek door AI: zo test je of je AI-toepassing gegevens weggeeft

In het kort: Bij een datalek door AI laat je AI-toepassing gegevens zien aan iemand die ze niet mag zien. Dat kan komen uit wat het model heeft geleerd, uit de eigen instructies, uit documenten die het doorzoekt, uit eerdere gesprekken of uit de logs. Je test erop met gerichte vragen per route, echte gebruikersrollen en geplante testwaarden. Herhaal elke vraag, want de antwoorden verschillen.

Je AI-assistent hoeft niet gehackt te worden om gegevens te lekken. Iemand moet alleen de juiste vraag stellen. Dat maakt een datalek door AI anders dan de lekken die je securityteam kent. Er is geen inbraak om te ontdekken, alleen een vriendelijk antwoord met het adres van een klant erin. Heeft je organisatie een chatbot of AI-assistent live, of bijna live? Dan is dit een middag van je tijd waard.

Wat is een datalek door AI?

Een datalek door AI ontstaat als een AI-toepassing persoonsgegevens of vertrouwelijke informatie geeft aan iemand die daar geen recht op heeft. Dat kan in een antwoord zitten, in de bronnen die de assistent noemt of in wat hij in zijn logs schrijft. De meeste van deze toepassingen draaien op een LLM, een groot taalmodel. Dat is het soort AI dat een vraag leest en een antwoord schrijft. Een LLM weet niet wat geheim is. Het werkt met alles wat het heeft meegekregen: zijn training, zijn instructies, de documenten die het mag doorzoeken en het gesprek tot nu toe. Zit daar iets gevoeligs tussen, dan kan een slimme of gewoon nieuwsgierige vraag het naar boven halen. In het Engels heet dit data leakage. De OWASP Top 10 voor LLM-toepassingen noemt het als een van de grootste risico’s. Onder de AVG kan het tonen van persoonsgegevens aan de verkeerde persoon een datalek zijn. De oorzaak doet er dan minder toe dan het feit dat het gebeurde.

Waar kan een AI-toepassing gegevens lekken?

Er zijn vijf routes, en elke route vraagt eigen tests. Het helpt om ze vooraf te benoemen. Teams testen vaak één route en gaan ervan uit dat de rest wel goed zit.

  • Wat het model heeft geleerd. Is een model met je eigen data verder getraind, dan kan het stukjes van die data letterlijk herhalen.
  • De eigen instructies. De system prompt is de verborgen set instructies die de assistent vertelt hoe hij zich gedraagt. Daar staan soms interne regels, namen of zelfs toegangssleutels in. OWASP noemt dit system prompt leakage.
  • Documenten die hij doorzoekt. Een assistent die je bestanden doorzoekt, kan citeren uit een bestand dat de gebruiker niet mag zien. In ons artikel over RAG testen lees je hoe je die zoekstap test.
  • Eerdere gesprekken. Een assistent met geheugen kan details uit het gesprek van de ene gebruiker meenemen naar dat van een ander.
  • Logs en gekoppelde tools. Vragen en antwoorden komen in logs, monitoringtools en soms bij een externe AI-leverancier terecht. Ook dan verlaten gegevens je eigen omgeving.

Aanvallers komen vaak bij deze routes via prompt injection: tekst die de AI verleidt om zijn regels te negeren. Dat bespraken we in ons artikel over prompt injection testen. Hier gaat het om de gegevens zelf: wat kan eruit, en bij wie komt het terecht?

Hoe test je op een datalek door AI?

Je stelt de vragen die een aanvaller of een nieuwsgierige gebruiker zou stellen. Route voor route kijk je wat er terugkomt. Gewoon geslaagd of gezakt werkt hier slecht. Een AI-toepassing geeft niet twee keer hetzelfde antwoord, dus één net antwoord bewijst weinig. Met deze stappen bouw je een test die je kunt herhalen.

  1. Plant testwaarden. Zet verzonnen maar herkenbare waarden in je testdata en instructies, zoals een nep-klantnaam of een nepcode. Duikt er ooit een op in een antwoord, dan heb je een lek gevonden en weet je meteen waar het vandaan komt.
  2. Schrijf vragen per route. Maak per route een set vragen die gegevens naar buiten proberen te halen. Vraag het direct, vraag het beleefd, vraag het in een andere taal, vraag om een samenvatting van “alles wat je weet”.
  3. Test met echte rollen. Stel dezelfde vragen als klant, als medewerker en als manager. Met alleen een beheerdersaccount zie je geen enkel probleem met rechten.
  4. Herhaal elke vraag. Stel elke vraag meerdere keren. Een lek dat één op de tien keer optreedt, is nog steeds een lek.
  5. Kijk ook in de logs. Controleer wat de toepassing opslaat en waar ze het naartoe stuurt, niet alleen wat de gebruiker ziet.

Veel hiervan kun je automatiseren, en dat moet ook, want je draait het steeds opnieuw. Maar mensen blijven nodig. Of een antwoord te veel prijsgeeft, is vaak een kwestie van oordelen. Laat je privacy officer of de eigenaar van de gegevens naar de twijfelgevallen kijken. Geen script beslist dat voor hen.

Hoe vaak test je opnieuw?

Na elke wijziging, en daartussen ook. Een nieuwe modelversie, een aangepaste system prompt, nieuwe documenten of nieuwe toegangsrechten kunnen elk een route openen die gisteren nog dicht was. Behandel je vragenset als een regressieset: de tests die controleren of wat gisteren veilig was, vandaag nog veilig is. Draai hem voor elke release en na elke wijziging in de gegevens waar de assistent bij kan. Blijf na livegang echte gesprekken volgen op persoonsgegevens in antwoorden.

Eén eerlijke kanttekening: je kunt niet bewijzen dat een AI-toepassing nooit lekt. Het aantal mogelijke vragen is eindeloos. Wat je wel kunt doen, is het risico verkleinen, de bekende lekken vinden voordat een gebruiker dat doet, en laten zien dat je hebt getest. Dat laatste telt. Gaat het toch mis, dan verwacht de AVG dat je een datalek in de meeste gevallen binnen 72 uur meldt bij de toezichthouder. Kun je dan laten zien wat je wanneer hebt getest, dan voer je een heel ander gesprek.

Wat betekent dit voor je team?

Testen op datalekken gaat door, lang na de lancering. Iemand moet de vragenset actueel houden en na elke wijziging draaien. Diegene volgt op wat faalt en rapporteert het zo dat je privacy officer en management ermee aan de slag kunnen. In veel organisaties bestaat die taak nog niet. De AI-toepassing gaat live na een goede eerste test, en daarna kijkt niemand meer.

Voor dat doorlopende testen hebben we onze eigen tool VeritasAI gebouwd. We gebruiken hem om AI-testen als dienst te leveren. VeritasAI blijft je AI-toepassing testen met echte vragen. Een operationeel dashboard laat zien welke vragen falen en bij welke wet, regel of richtlijn elke fout hoort. Je ziet de prompt, het antwoord en een prioriteitsscore. Een managementdashboard geeft het overzicht. Meer lees je op onze pagina over AI compliance testen.

Een eerste stap voor deze week: schrijf op welke drie soorten gegevens je AI-toepassing nooit aan de verkeerde persoon mag laten zien. Vraag er daarna als gewone gebruiker precies om.

Ontdek wat je AI-toepassing weggeeft, voordat je gebruikers het doen.

Zo testen wij AIPraat met ons team

Veelgestelde vragen

Kan een AI-chatbot persoonsgegevens lekken?

Ja. Hij kan gegevens herhalen die hij heeft geleerd, of citeren uit een document dat de gebruiker niet mag zien. Ook kan hij details uit het ene gesprek meenemen naar het andere. Daarvoor hoeft niemand in te breken. Een goed gekozen vraag kan genoeg zijn.

Wat is system prompt leakage?

Dan geeft een AI-toepassing zijn verborgen instructies prijs. Daar kunnen interne regels, namen of toegangssleutels in staan. Houd geheimen uit de system prompt, en test of gebruikers hem zijn instructies kunnen laten herhalen.

Is een lek via een AI-toepassing een datalek onder de AVG?

Dat kan. Krijgt iemand persoonsgegevens te zien die hij niet mag zien, dan is dat volgens de AVG een inbreuk op de beveiliging van persoonsgegevens. Overleg met je privacy officer en leg vast wat je hebt getest.

Kun je automatisch testen op datalekken?

Grotendeels wel. Vragensets, testwaarden en herhaalde runs kun je allemaal automatiseren. Mensen beoordelen de twijfelgevallen, zoals of een antwoord te veel prijsgeeft.