Kan AI dit? / Test 1
Test 1 · KlantenserviceKan AI klantgegevens anonimiseren? Ja, maar niet elke keer.
Op gewone klantmails ging het bij drie van de vier AI-modellen elke keer goed. Op lastiger mails haalde alleen Grok 4.7 het in alle runs. Gewone software zonder AI miste juist de gevoelige gegevens.
Eerst de persoonsgegevens eruit
Femke Spaaksma wil weten waar klanten het vaakst over klagen. Ze wil een cloud-AI alle klantmails van het afgelopen kwartaal laten lezen. Haar boekhouder vraagt: mag die klantdata wel naar ChatGPT? Het plan wordt daarom: eerst de persoonsgegevens eruit halen. Kan AI dat betrouwbaar?
Elk model kreeg dezelfde opdracht:
- vervang elk persoonsgegeven door een vast label, zoals [NAAM_1], [ADRES_1] of [IBAN_1];
- geef dezelfde persoon binnen één mail steeds hetzelfde label;
- verander verder niets aan de tekst;
- lever apart een lijst aan met welk label bij welk origineel hoort.
40 mails, 173 persoonsgegevens
Namen, adressen, telefoonnummers in drie schrijfwijzen, e-mailadressen, IBAN’s, geboortedata, kentekens, personeelsnummers en gezondheid. Met typfouten, doorgestuurde mails, een paar Engelse mails en Fries-Nederlands. Lastig: achternamen die ook een gewoon woord zijn, zoals Bakker en Visser.
40 mails, 151 persoonsgegevens
Twee klanten met dezelfde voornaam, bijnamen, BSN’s, en gezondheid en geloof die terloops in een zin staan.
Niet alles is privé
Ordernummers, werkbonnummers, productnamen, de naam Spaaksma, datums van bestellingen en de klacht zelf. Wie alles weghaalt, scoort dus slecht.
Per model
Het antwoord in de laatste kolom is de slechtste uitslag van alle runs van dat model. Eén keer een gevoelig gegeven missen is genoeg voor nee.
| Model | Set 1: basis | Set 2: moeilijker | Runs met ja | Tijd per set van 40 mails | Antwoord |
|---|---|---|---|---|---|
| Qwen3.8-Flash-Nextlokaal, op DGX Spark | ja · ja · ja | ja · ja · nee | 5 van 6 | 8 tot 12 min | nee |
| Claude Sonnet 5cloud, abonnement | ja · ja · ja | afgebroken · nee · nee · ja | 4 van 6+ 1 afgebroken | 5 tot 18 min | nee |
| Grok 4.7cloud, abonnement | ja · ja · ja | ja · ja · ja | 6 van 6 | 9 tot 24 min | ja |
| ChatGPT (gratis plan)cloud, gratis plan, model gpt-6-luna | nee · ja · nee · ja | nee · nee · met een mens erbij | 2 van 7 | 1 tot 3 min | nee |
| Presidio met spaCy NLsoftware zonder AI | nee | nee | 0 van 2 | niet gemeten | nee |
Wat er misging
- Grok 4.7 vond in alle 6 runs alles en haalde niets te veel weg. Grok was wel het traagst: 9 tot 24 minuten per set van 40 mails.
- Qwen3.8-Flash-Next, het lokale model op onze NVIDIA DGX Spark, haalde 5 van 6 runs. In de derde run op set 2 miste het de zin over geloof die je hieronder ziet.
- Claude Sonnet 5 haalde set 1 drie keer. Op set 2 miste Claude twee keer dezelfde zin over geloof. Eén run brak technisch af: de verbinding bleef te lang stil en onze opstelling stopte de run. We hebben de wachttijd verlengd en de run herhaald. De afgebroken run staat in de tabel, zonder oordeel.
- ChatGPT (gratis plan) was het snelst, maar wisselvallig. In de eerste run liep ChatGPT vast op een fout in een script dat het zelf schreef. Er kwam niets bruikbaars uit: 0 van 173 gevonden. We hebben die run herhaald; beide runs tellen. Op set 2 miste ChatGPT zinnen over geloof en twee geboortedata, of haalde het te veel weg.
- Presidio, de software zonder AI, vond 152 van 173 en 114 van 151. In set 1 miste hij alle 7 zinnen over gezondheid. In set 2 miste hij onder meer BSN’s, IBAN’s in kleine letters, gezondheid en geloof. Hij haalde ook te veel weg, zoals datums en weekdagen.
Bekijk alle 28 runs
| Set | Model | Run | Datum | Oordeel | Gevonden | Te veel weggehaalddeel van wat moest blijven staan | Zware gegevens gemist | Tijdmin:sec |
|---|---|---|---|---|---|---|---|---|
| 1 | Qwen3.8-Flash-Next | 1 | 28-10 | ja | 173 van 173 | 1,1% | geen | 10:50 |
| 1 | Qwen3.8-Flash-Next | 2 | 29-10 | ja | 173 van 173 | niets | geen | 7:47 |
| 1 | Qwen3.8-Flash-Next | 3 | 29-10 | ja | 172 van 173 | niets | geen | 7:52 |
| 1 | Claude Sonnet 5 | 1 | 28-10 | ja | 173 van 173 | niets | geen | 17:53 |
| 1 | Claude Sonnet 5 | 2 | 29-10 | ja | 173 van 173 | niets | geen | 5:58 |
| 1 | Claude Sonnet 5 | 3 | 29-10 | ja | 173 van 173 | niets | geen | 5:25 |
| 1 | Grok 4.7 | 1 | 28-10 | ja | 173 van 173 | niets | geen | 9:25 |
| 1 | Grok 4.7 | 2 | 29-10 | ja | 173 van 173 | niets | geen | 9:52 |
| 1 | Grok 4.7 | 3 | 29-10 | ja | 173 van 173 | niets | geen | 15:44 |
| 1 | ChatGPT (gratis plan) | 1 | 28-10 | nee | 0 van 173 | niets | alle 15 (niets gevonden) | 0:52 |
| 1 | ChatGPT (gratis plan) | 1b | 28-10 | ja | 172 van 173 | niets | geen | 1:08 |
| 1 | ChatGPT (gratis plan) | 2 | 29-10 | nee | 154 van 173 | niets | geen | 1:08 |
| 1 | ChatGPT (gratis plan) | 3 | 29-10 | ja | 173 van 173 | niets | geen | 1:36 |
| 1 | Presidio met spaCy NL | 1 | 28-10 | nee | 152 van 173 | 8,0% | 7: alle zinnen over gezondheid | niet gemeten |
| 2 | Qwen3.8-Flash-Next | 1 | 28-10 | ja | 150 van 151 | niets | geen | 11:13 |
| 2 | Qwen3.8-Flash-Next | 2 | 29-10 | ja | 151 van 151 | niets | geen | 9:13 |
| 2 | Qwen3.8-Flash-Next | 3 | 29-10 | nee | 150 van 151 | niets | 1: de sjabbatzin | 11:47 |
| 2 | Claude Sonnet 5 | 1 | 28-10 | technisch afgebroken | geen uitslag | geen uitslag | geen uitslag | niet gemeten |
| 2 | Claude Sonnet 5 | 1b | 29-10 | nee | 150 van 151 | niets | 1: de sjabbatzin | 9:16 |
| 2 | Claude Sonnet 5 | 2 | 29-10 | nee | 150 van 151 | niets | 1: de sjabbatzin | 7:46 |
| 2 | Claude Sonnet 5 | 3 | 29-10 | ja | 151 van 151 | niets | geen | 8:16 |
| 2 | Grok 4.7 | 1 | 28-10 | ja | 151 van 151 | niets | geen | 15:57 |
| 2 | Grok 4.7 | 2 | 29-10 | ja | 151 van 151 | niets | geen | 24:07 |
| 2 | Grok 4.7 | 3 | 29-10 | ja | 151 van 151 | niets | geen | 15:22 |
| 2 | ChatGPT (gratis plan) | 1 | 28-10 | nee | 143 van 151 | 6,0% | 2: beide zinnen over geloof | 1:03 |
| 2 | ChatGPT (gratis plan) | 2 | 29-10 | nee | 142 van 151 | 2,4% | 3: de sjabbatzin en 2 geboortedata | 1:33 |
| 2 | ChatGPT (gratis plan) | 3 | 29-10 | met een mens erbij | 151 van 151 | 6,0% | geen | 2:33 |
| 2 | Presidio met spaCy NL | 1 | 28-10 | nee | 114 van 151 | 15,7% | 12: onder meer BSN, IBAN, gezondheid en geloof | niet gemeten |
Run 1b is een herhaling. Hij komt erbij en vervangt run 1 niet. ChatGPT run 3 op set 2 vond alles, maar haalde te veel weg. Daarom is het oordeel daar “met een mens erbij”.
De sjabbatzin
Mail 32 uit set 2 is een korte vraag over een bezorgdag. Er staat één zin in over geloof: “Wij zijn Joods en houden sjabbat.” Geloof is een bijzonder persoonsgegeven. Dat telt zwaar.
Wie alleen “Joods” vervangt, laat “houden sjabbat” staan. Dan is het geloof nog steeds te lezen. In set 2 werd de sjabbatzin gemist in 5 van de 12 beoordeelde AI-runs: 2 keer bij ChatGPT, 2 keer bij Claude, 1 keer bij Qwen en 0 keer bij Grok. De software zonder AI miste hem ook.
Van: Tjeerd Hofstra <tjeerd.hofstra@fryspost.nl> Datum: 4 september 2026 Onderwerp: Bezorgdag Goedemorgen, Volgende week wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op zaterdag bezorgen? Wij zijn Joods en houden sjabbat. Elke andere dag is prima. Groet, Tjeerd Hofstra Kerkstraat 50-1 8494 ZV Feartsein
Van: [NAAM_1] <[EMAIL_1]> Datum: 4 september 2026 Onderwerp: Bezorgdag Goedemorgen, Volgende week wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op zaterdag bezorgen? Wij zijn [ANDERS_1]. Elke andere dag is prima. Groet, [NAAM_1] [ADRES_1] [POSTCODE_1] Feartsein
Van: [NAAM_1] <[EMAIL_1]> Datum: 4 september 2026 Onderwerp: Bezorgdag Goedemorgen, Volgende week wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op zaterdag bezorgen? Wij zijn [ANDERS_1] en houden sjabbat. Elke andere dag is prima. Groet, [NAAM_1] [ADRES_1] [POSTCODE_1] [ADRES_1]
Van: [NAAM_1] <[EMAIL_1]> Datum: 4 september 2026 Onderwerp: Bezorgdag Goedemorgen, Volgende week wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op zaterdag bezorgen? Wij zijn [ANDERS_1] en houden sjabbat. Elke andere dag is prima. Groet, [NAAM_1] [ADRES_1] [POSTCODE_1]
Van: [NAAM_1] <[EMAIL_1]> Datum: [DATUM_1] Onderwerp: Bezorgdag Goedemorgen, [DATUM_2] wordt onze Spaaksma Kearn Cargo bezorgd. Wilt u niet op [DATUM_3] bezorgen? Wij zijn Joods en houden sjabbat. Elke andere dag is prima. Groet, [NAAM_1] Kerkstraat 50-1 [POSTCODE_1] Feartsein
Klantmails laten analyseren zonder dat persoonsgegevens meegaan
Alleen vaste zoekpatronen is niet genoeg
Software zonder AI vindt namen, postcodes en telefoonnummers. Die mist juist wat het gevoeligst is: gezondheid en geloof in een gewone zin.
Anonimiseren in de cloud schiet zijn doel voorbij
Grok scoorde het best, maar is een cloudmodel. Wie in de cloud anonimiseert, stuurt de ruwe mails eerst naar de aanbieder. Dat wilde je juist voorkomen. Wij konden het doen omdat onze mails verzonnen zijn. Met echte mails heb je eerst afspraken met de aanbieder nodig, zoals een verwerkersovereenkomst.
Laat iemand de gevoelige stukken nalezen
Alleen Grok deed het in alle 6 runs goed. Zes runs is te weinig om blind op te vertrouwen. Laat AI het eerste werk doen. Laat daarna een mens nalezen op gezondheid, geloof, BSN, IBAN en geboortedatum. Het lokale model is daarvoor een goede kandidaat: het haalde 5 van 6 runs en je data blijft binnen.
Gratis ChatGPT raden we voor dit werk af. Het wisselde van run tot run, en je mails gaan naar de aanbieder.
Hoe ver kun je gaan?
Veertig mails is een kleine stapel. Een klantenservice krijgt er in een kwartaal veel meer. Daarom loopt deze test nog door met 120, 400, 1.200 en 4.000 mails. We kijken bij welke stap het eerste model breekt.
Deze test loopt nog. De uitslag komt op deze pagina.
Wat deze test niet zegt
- Verzonnen mails. We hebben ze zo echt mogelijk gemaakt, met typfouten, doorgestuurde mails en Fries-Nederlands. Echte mails kunnen toch anders zijn.
- Weinig runs. Drie runs per model per set laten zien of een model wisselt. Het is te weinig voor een harde kans. Wie 3 van 3 haalt, kan de vierde keer missen.
- Eén manier van werken. De modellen werkten als agent, met bestanden en tools. Plak je mails in een chatvenster, dan kan de uitslag anders zijn.
- Momentopname. Cloudmodellen veranderen. Deze uitslag geldt voor de modellen zoals ze op 28 en 29 oktober 2026 draaiden.
- Tijden zijn een indicatie. Ze hangen af van drukte bij de aanbieder en van onze opstelling.
- Geen gelijke vergelijking. ChatGPT draaide op het gratis plan, Claude en Grok op een betaald abonnement.
- Veertig mails per set. Hoe het gaat met een grotere stapel, lees je straks onder “Hoe ver kun je gaan?”.
Wil je weten of dit bij jullie mails werkt?
Vertel kort hoe jullie nu met klantgegevens werken. Dan kijken we samen wat veilig kan. Stuur nog geen klantgegevens mee.
