Kan AI dit? / Test 1

Test 1 · Klantenservice

Kan AI klantgegevens anonimiseren? Ja, maar niet elke keer.

Op gewone klantmails ging het bij drie van de vier AI-modellen elke keer goed. Op lastiger mails haalde alleen Grok 4.7 het in alle runs. Gewone software zonder AI miste juist de gevoelige gegevens.

Wat we vroegen

Eerst de persoonsgegevens eruit

Femke Spaaksma wil weten waar klanten het vaakst over klagen. Ze wil een cloud-AI alle klantmails van het afgelopen kwartaal laten lezen. Haar boekhouder vraagt: mag die klantdata wel naar ChatGPT? Het plan wordt daarom: eerst de persoonsgegevens eruit halen. Kan AI dat betrouwbaar?

Elk model kreeg dezelfde opdracht:

  • vervang elk persoonsgegeven door een vast label, zoals [NAAM_1], [ADRES_1] of [IBAN_1];
  • geef dezelfde persoon binnen één mail steeds hetzelfde label;
  • verander verder niets aan de tekst;
  • lever apart een lijst aan met welk label bij welk origineel hoort.
Set 1 · Basis

40 mails, 173 persoonsgegevens

Namen, adressen, telefoonnummers in drie schrijfwijzen, e-mailadressen, IBAN’s, geboortedata, kentekens, personeelsnummers en gezondheid. Met typfouten, doorgestuurde mails, een paar Engelse mails en Fries-Nederlands. Lastig: achternamen die ook een gewoon woord zijn, zoals Bakker en Visser.

Set 2 · Moeilijker

40 mails, 151 persoonsgegevens

Twee klanten met dezelfde voornaam, bijnamen, BSN’s, en gezondheid en geloof die terloops in een zin staan.

Moet blijven staan

Niet alles is privé

Ordernummers, werkbonnummers, productnamen, de naam Spaaksma, datums van bestellingen en de klacht zelf. Wie alles weghaalt, scoort dus slecht.

De uitslag

Per model

Het antwoord in de laatste kolom is de slechtste uitslag van alle runs van dat model. Eén keer een gevoelig gegeven missen is genoeg voor nee.

Uitslag test 1 per model, oordeel per run in volgorde
Model Set 1: basis Set 2: moeilijker Runs met ja Tijd per set van 40 mails Antwoord
Qwen3.8-Flash-Nextlokaal, op DGX Sparkja · ja · jaja · ja · nee5 van 68 tot 12 minnee
Claude Sonnet 5cloud, abonnementja · ja · jaafgebroken · nee · nee · ja4 van 6+ 1 afgebroken5 tot 18 minnee
Grok 4.7cloud, abonnementja · ja · jaja · ja · ja6 van 69 tot 24 minja
ChatGPT (gratis plan)cloud, gratis plan, model gpt-6-lunanee · ja · nee · janee · nee · met een mens erbij2 van 71 tot 3 minnee
Presidio met spaCy NLsoftware zonder AIneenee0 van 2niet gemetennee
Oordeel per run, per model, voor set 1 en set 2 Qwen3.8-Flash-Next, lokaal: set 1 ja, ja, ja; set 2 ja, ja, nee; 5 van 6 runs ja. Claude Sonnet 5: set 1 ja, ja, ja; set 2 technisch afgebroken, nee, nee, ja; 4 van 6 runs ja en 1 run afgebroken. Grok 4.7: set 1 ja, ja, ja; set 2 ja, ja, ja; 6 van 6 runs ja. ChatGPT (gratis plan): set 1 nee, ja, nee, ja; set 2 nee, nee, met een mens erbij; 2 van 7 runs ja. Presidio met spaCy NL, geen AI: set 1 nee; set 2 nee; 0 van 2 runs ja. SET 1: BASIS SET 2: MOEILIJKER RUNS MET JA Qwen3.8-Flash-Next lokaal ja ja ja ja ja nee 5 van 6 Claude Sonnet 5 cloud, abonnement ja ja ja uitval nee nee ja 4 van 6 + 1 afgebroken Grok 4.7 cloud, abonnement ja ja ja ja ja ja 6 van 6 ChatGPT (gratis plan) cloud, gratis plan nee ja nee ja nee nee mens 2 van 7 Presidio met spaCy NL software zonder AI nee nee 0 van 2 ja met een mens erbij nee technisch afgebroken (geen oordeel)
Elk blokje is één run, in de volgorde waarin hij draaide. Alleen Grok 4.7 heeft zes keer ja.

Wat er misging

  • Grok 4.7 vond in alle 6 runs alles en haalde niets te veel weg. Grok was wel het traagst: 9 tot 24 minuten per set van 40 mails.
  • Qwen3.8-Flash-Next, het lokale model op onze NVIDIA DGX Spark, haalde 5 van 6 runs. In de derde run op set 2 miste het de zin over geloof die je hieronder ziet.
  • Claude Sonnet 5 haalde set 1 drie keer. Op set 2 miste Claude twee keer dezelfde zin over geloof. Eén run brak technisch af: de verbinding bleef te lang stil en onze opstelling stopte de run. We hebben de wachttijd verlengd en de run herhaald. De afgebroken run staat in de tabel, zonder oordeel.
  • ChatGPT (gratis plan) was het snelst, maar wisselvallig. In de eerste run liep ChatGPT vast op een fout in een script dat het zelf schreef. Er kwam niets bruikbaars uit: 0 van 173 gevonden. We hebben die run herhaald; beide runs tellen. Op set 2 miste ChatGPT zinnen over geloof en twee geboortedata, of haalde het te veel weg.
  • Presidio, de software zonder AI, vond 152 van 173 en 114 van 151. In set 1 miste hij alle 7 zinnen over gezondheid. In set 2 miste hij onder meer BSN’s, IBAN’s in kleine letters, gezondheid en geloof. Hij haalde ook te veel weg, zoals datums en weekdagen.
Bekijk alle 28 runs
Alle runs van test 1, nagekeken met versie 2 van het nakijkprogramma
Set Model Run Datum Oordeel Gevonden Te veel weggehaalddeel van wat moest blijven staan Zware gegevens gemist Tijdmin:sec
1Qwen3.8-Flash-Next128-10ja173 van 1731,1%geen10:50
1Qwen3.8-Flash-Next229-10ja173 van 173nietsgeen7:47
1Qwen3.8-Flash-Next329-10ja172 van 173nietsgeen7:52
1Claude Sonnet 5128-10ja173 van 173nietsgeen17:53
1Claude Sonnet 5229-10ja173 van 173nietsgeen5:58
1Claude Sonnet 5329-10ja173 van 173nietsgeen5:25
1Grok 4.7128-10ja173 van 173nietsgeen9:25
1Grok 4.7229-10ja173 van 173nietsgeen9:52
1Grok 4.7329-10ja173 van 173nietsgeen15:44
1ChatGPT (gratis plan)128-10nee0 van 173nietsalle 15 (niets gevonden)0:52
1ChatGPT (gratis plan)1b28-10ja172 van 173nietsgeen1:08
1ChatGPT (gratis plan)229-10nee154 van 173nietsgeen1:08
1ChatGPT (gratis plan)329-10ja173 van 173nietsgeen1:36
1Presidio met spaCy NL128-10nee152 van 1738,0%7: alle zinnen over gezondheidniet gemeten
2Qwen3.8-Flash-Next128-10ja150 van 151nietsgeen11:13
2Qwen3.8-Flash-Next229-10ja151 van 151nietsgeen9:13
2Qwen3.8-Flash-Next329-10nee150 van 151niets1: de sjabbatzin11:47
2Claude Sonnet 5128-10technisch afgebrokengeen uitslaggeen uitslaggeen uitslagniet gemeten
2Claude Sonnet 51b29-10nee150 van 151niets1: de sjabbatzin9:16
2Claude Sonnet 5229-10nee150 van 151niets1: de sjabbatzin7:46
2Claude Sonnet 5329-10ja151 van 151nietsgeen8:16
2Grok 4.7128-10ja151 van 151nietsgeen15:57
2Grok 4.7229-10ja151 van 151nietsgeen24:07
2Grok 4.7329-10ja151 van 151nietsgeen15:22
2ChatGPT (gratis plan)128-10nee143 van 1516,0%2: beide zinnen over geloof1:03
2ChatGPT (gratis plan)229-10nee142 van 1512,4%3: de sjabbatzin en 2 geboortedata1:33
2ChatGPT (gratis plan)329-10met een mens erbij151 van 1516,0%geen2:33
2Presidio met spaCy NL128-10nee114 van 15115,7%12: onder meer BSN, IBAN, gezondheid en geloofniet gemeten

Run 1b is een herhaling. Hij komt erbij en vervangt run 1 niet. ChatGPT run 3 op set 2 vond alles, maar haalde te veel weg. Daarom is het oordeel daar “met een mens erbij”.

Een voorbeeld

De sjabbatzin

Mail 32 uit set 2 is een korte vraag over een bezorgdag. Er staat één zin in over geloof: “Wij zijn Joods en houden sjabbat.” Geloof is een bijzonder persoonsgegeven. Dat telt zwaar.

Wie alleen “Joods” vervangt, laat “houden sjabbat” staan. Dan is het geloof nog steeds te lezen. In set 2 werd de sjabbatzin gemist in 5 van de 12 beoordeelde AI-runs: 2 keer bij ChatGPT, 2 keer bij Claude, 1 keer bij Qwen en 0 keer bij Grok. De software zonder AI miste hem ook.

Origineel verzonnen mail
Van: Tjeerd Hofstra <tjeerd.hofstra@fryspost.nl>
Datum: 4 september 2026
Onderwerp: Bezorgdag

Goedemorgen,

Volgende week wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op zaterdag bezorgen? Wij zijn Joods en houden sjabbat. Elke andere dag is prima.

Groet,
Tjeerd Hofstra
Kerkstraat 50-1
8494 ZV Feartsein
Naam, mailadres, straat en postcode zijn persoonsgegevens. De gemarkeerde zin zegt iets over geloof.
Grok 4.7 cloud, abonnement
Van: [NAAM_1] <[EMAIL_1]>
Datum: 4 september 2026
Onderwerp: Bezorgdag

Goedemorgen,

Volgende week wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op zaterdag bezorgen? Wij zijn [ANDERS_1]. Elke andere dag is prima.

Groet,
[NAAM_1]
[ADRES_1]
[POSTCODE_1] Feartsein
Vervangt de hele zin over geloof door één label. Het geloof is niet meer te lezen. De verzonnen plaatsnaam blijft staan.
Claude Sonnet 5 cloud, abonnement
Van: [NAAM_1] <[EMAIL_1]>
Datum: 4 september 2026
Onderwerp: Bezorgdag

Goedemorgen,

Volgende week wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op zaterdag bezorgen? Wij zijn [ANDERS_1] en houden sjabbat. Elke andere dag is prima.

Groet,
[NAAM_1]
[ADRES_1]
[POSTCODE_1] [ADRES_1]
Vervangt alleen “Joods”. “Houden sjabbat” blijft staan, dus het geloof is nog te lezen. De plaatsnaam krijgt hetzelfde label als de straat.
Qwen3.8-Flash-Next lokaal
Van: [NAAM_1] <[EMAIL_1]>
Datum: 4 september 2026
Onderwerp: Bezorgdag

Goedemorgen,

Volgende week wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op zaterdag bezorgen? Wij zijn [ANDERS_1] en houden sjabbat. Elke andere dag is prima.

Groet,
[NAAM_1]
[ADRES_1]
[POSTCODE_1]
Ook hier blijft “houden sjabbat” staan. De plaatsnaam is helemaal verdwenen, zonder label.
Presidio met spaCy NL software zonder AI
Van: [NAAM_1] <[EMAIL_1]>
Datum: [DATUM_1]
Onderwerp: Bezorgdag

Goedemorgen,

[DATUM_2] wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op [DATUM_3] bezorgen? Wij zijn Joods en houden sjabbat. Elke andere dag is prima.

Groet,
[NAAM_1]
Kerkstraat 50-1
[POSTCODE_1] Feartsein
Laat de zin over geloof en de straat staan. Haalt wel de datum van de mail, “Volgende week” en “zaterdag” weg. Die zeggen niets over wie de klant is.
Wat betekent dit voor jou?

Klantmails laten analyseren zonder dat persoonsgegevens meegaan

Zonder AI

Alleen vaste zoekpatronen is niet genoeg

Software zonder AI vindt namen, postcodes en telefoonnummers. Die mist juist wat het gevoeligst is: gezondheid en geloof in een gewone zin.

Cloud

Anonimiseren in de cloud schiet zijn doel voorbij

Grok scoorde het best, maar is een cloudmodel. Wie in de cloud anonimiseert, stuurt de ruwe mails eerst naar de aanbieder. Dat wilde je juist voorkomen. Wij konden het doen omdat onze mails verzonnen zijn. Met echte mails heb je eerst afspraken met de aanbieder nodig, zoals een verwerkersovereenkomst.

Mens erbij

Laat iemand de gevoelige stukken nalezen

Alleen Grok deed het in alle 6 runs goed. Zes runs is te weinig om blind op te vertrouwen. Laat AI het eerste werk doen. Laat daarna een mens nalezen op gezondheid, geloof, BSN, IBAN en geboortedatum. Het lokale model is daarvoor een goede kandidaat: het haalde 5 van 6 runs en je data blijft binnen.

Gratis ChatGPT raden we voor dit werk af. Het wisselde van run tot run, en je mails gaan naar de aanbieder.

Loopt nog

Hoe ver kun je gaan?

Veertig mails is een kleine stapel. Een klantenservice krijgt er in een kwartaal veel meer. Daarom loopt deze test nog door met 120, 400, 1.200 en 4.000 mails. We kijken bij welke stap het eerste model breekt.

Deze test loopt nog. De uitslag komt op deze pagina.

Beperkingen

Wat deze test niet zegt

  • Verzonnen mails. We hebben ze zo echt mogelijk gemaakt, met typfouten, doorgestuurde mails en Fries-Nederlands. Echte mails kunnen toch anders zijn.
  • Weinig runs. Drie runs per model per set laten zien of een model wisselt. Het is te weinig voor een harde kans. Wie 3 van 3 haalt, kan de vierde keer missen.
  • Eén manier van werken. De modellen werkten als agent, met bestanden en tools. Plak je mails in een chatvenster, dan kan de uitslag anders zijn.
  • Momentopname. Cloudmodellen veranderen. Deze uitslag geldt voor de modellen zoals ze op 28 en 29 oktober 2026 draaiden.
  • Tijden zijn een indicatie. Ze hangen af van drukte bij de aanbieder en van onze opstelling.
  • Geen gelijke vergelijking. ChatGPT draaide op het gratis plan, Claude en Grok op een betaald abonnement.
  • Veertig mails per set. Hoe het gaat met een grotere stapel, lees je straks onder “Hoe ver kun je gaan?”.

Lees hoe we testen en nakijken  ·  Terug naar het overzicht

Wil je weten of dit bij jullie mails werkt?

Vertel kort hoe jullie nu met klantgegevens werken. Dan kijken we samen wat veilig kan. Stuur nog geen klantgegevens mee.

Bespreek je proces