Kan AI dit? / Methode
MethodeZo testen we
Een uitslag is alleen iets waard als je kunt nagaan hoe hij tot stand kwam. Hier lees je hoe we testen, nakijken en publiceren. Ook wat we doen als we zelf een fout maken.
Van verzonnen mail tot uitslag
-
Data verzinnen, antwoordmodel vastleggen
Een programma maakt de testdata: verzonnen klanten, mails en gegevens. Tegelijk maakt het een antwoordmodel. Daarin staat precies welke persoonsgegevens in de mails zitten en wat eruit moet.
-
Elk model dezelfde opdracht
Alle modellen werken in dezelfde agentomgeving, met dezelfde opdracht, dezelfde tools en dezelfde bestanden. Alleen het model verschilt. Elk model doet elke set drie keer. Zo’n poging heet een run.
-
Nakijken door een programma
Een nakijkprogramma legt het werk van elk model naast het antwoordmodel en telt wat goed en fout ging. Het model ziet het antwoordmodel nooit. Tussen meting en cijfer zit geen mens.
-
Menselijk beslispunt
Lezen en publiceren
Mark leest elk rapport voordat het online komt. Hij past geen cijfers aan. Hij beslist of de tekst klopt en duidelijk is.
Een bedrijf dat niet bestaat
Alle tests spelen bij Spaaksma Fietsen. Dat bedrijf is verzonnen. Het heeft wel alles wat een gewoon MKB-bedrijf heeft.
Spaaksma Fietsen begon in 1971 als rijwielhandel in een verzonnen plaats in Friesland. Kleindochter Femke leidt het bedrijf nu. Er werken 30 mensen, verdeeld over winkel, webshop, werkplaats, klantenservice, administratie, HR en zakelijke lease. Femke wil weten welke AI haar echt tijd bespaart, en wat ze veilig met klantgegevens kan doen.
De klanten en hun gegevens zijn ook verzonnen. Namen komen uit een vaste lijst. Die lijst controleren we op namen van echte mensen uit onze omgeving, zodat niemand er per ongeluk in staat. IBAN’s kloppen qua opbouw, maar horen bij geen echte rekening. Merken en software in de mails zijn verzonnen.
Het script dat de data maakt, gebruikt een vaste startwaarde. Zo kunnen we elke test later precies opnieuw draaien.
Omdat alles verzonnen is, mogen we de data ook naar cloudmodellen sturen. Met echte klantgegevens zou dat niet zomaar mogen.
De volledige testset publiceren we nog niet. Per test laten we wel voorbeelden zien.
Dezelfde opstelling voor elk model
De modellen werken als agent. Ze krijgen de opdracht en de bestanden, en bepalen zelf hoe ze het aanpakken. Sommige schrijven een script, andere doen het met de hand.
Lokaal. Het lokale model draait op één eigen AI-computer op kantoor, een NVIDIA DGX Spark. Er gaat niets naar buiten.
Cloud. We gebruiken voor nu nog geen API-budget. Daarmee betaal je per gebruik, bijvoorbeeld om AI aan je eigen software te koppelen. Wij willen testen zoals de meeste MKB-bedrijven nu met AI werken: met een gewoon abonnement. Claude en Grok testen we op een betaald abonnement. ChatGPT testen we op het gratis plan, omdat veel MKB’ers dat gebruiken. Dat is geen gelijke vergelijking, en zo presenteren we het ook niet.
Zonder AI. Ook zonder AI kun je persoonsgegevens uit tekst laten halen. Daar bestaat al jaren gewone software voor. Wij gebruiken Presidio, gratis software van Microsoft die hier veel voor wordt gebruikt, met een Nederlandse taalmodule (spaCy NL). Presidio zoekt met vaste patronen, zoals “vier cijfers en twee letters is een postcode”, en herkent namen in Nederlandse zinnen. Een AI-taalmodel zoals ChatGPT zit er niet in. Zo zie je wat AI toevoegt aan wat je zonder AI al kunt. Omdat Presidio elke keer precies hetzelfde doet, draait het één keer per set.
| Model of tool | Soort | Waar het draait | Toegang | Getest op |
|---|---|---|---|---|
| Qwen3.8-Flash-Next | open model | lokaal, eigen AI-computer (NVIDIA DGX Spark) | eigen hardware | 28 en 29 oktober 2026 |
| Claude Sonnet 5 | cloudmodel | bij de aanbieder | via abonnement | 28 en 29 oktober 2026 |
| Grok 4.7 | cloudmodel | bij de aanbieder | via abonnement | 28 en 29 oktober 2026 |
| ChatGPT (gratis plan) | cloudmodel, model gpt-6-luna | bij de aanbieder | gratis plan | 28 en 29 oktober 2026 |
| Presidio met spaCy NL | software zonder AI | lokaal | open source | 28 oktober 2026 |
Cloudmodellen kunnen veranderen zonder dat je het merkt. Daarom noemen we bij elke uitslag het model en de datum.
Met een antwoordmodel, niet op gevoel
Net als bij een proefwerk op school hoort bij elke test een antwoordmodel. Daarin staat wat het goede antwoord is. We maken het tegelijk met de verzonnen mails. Het ligt dus klaar voordat een AI-model de mails ziet.
Bij test 1 staat in het antwoordmodel welke persoonsgegevens in elke mail zitten. En wat juist moet blijven staan, zoals ordernummers, productnamen en de klacht zelf. Alles weghalen levert dus niets op.
Het nakijken doet een computerprogramma dat we zelf schreven: het nakijkprogramma. Er zit geen AI in, en er kijkt geen mens mee. Het legt het werk van elk model naast het antwoordmodel en telt:
- hoeveel persoonsgegevens het model vond;
- welke zware gegevens het miste: IBAN, gezondheid, geboortedatum, BSN en bijzondere gegevens zoals geloof;
- hoeveel het weghaalde van wat moest blijven staan;
- hoe lang het duurde.
De scores gaan rechtstreeks van het nakijkprogramma naar het rapport. Er zit geen handwerk tussen.
De oordeelregels
Elke run krijgt één oordeel. Dit zijn de regels, woord voor woord zoals ze in onze data staan:
- ja
- 0 gemist in de zware categorieën (IBAN, gezondheid, geboortedatum, BSN, bijzondere gegevens), ≥ 98% gevonden, ≤ 2% te veel weggehaald
- met een mens erbij
- 95–98% gevonden, of fouten alleen in lichte categorieën
- nee
- minder dan 95%, of een gemist zwaar gegeven dat je niet ziet zonder alles na te lezen
Het antwoord op het scorebord
Elk model doet de test meerdere keren. Op het scorebord staat de slechtste uitslag van al die runs. Eén run waarin een zwaar gegeven gemist is, maakt het antwoord nee. Je weet vooraf namelijk niet of je de goede of de foute run krijgt. Daarom staat ernaast hoe vaak het wel goed ging.
Geen losse percentages
We schrijven “172 van 173 gevonden” of “5 van 6 runs ja”. Dan zie je altijd waar een getal over gaat.
Elke run telt, ook als hij mislukt
Taalmodellen geven niet elke keer hetzelfde antwoord. Daarom draait elk model elke set drie keer, en tellen alle runs mee.
Telt als uitslag
Loopt een run vast op iets wat het model zelf doet, dan is dat de uitslag. In test 1 schreef ChatGPT een script met een fout en kwam het niet verder. Die run telt als nee.
Technische uitval
Breekt een run af door onze eigen opstelling, dan krijgt hij geen oordeel. Hij staat wel in de tabel. In test 1 gebeurde dat één keer bij Claude: de verbinding bleef te lang stil en onze opstelling stopte de run. We hebben de wachttijd verlengd en de run herhaald.
Komt erbij, vervangt niets
Herhalen we een run, dan komt de nieuwe run erbij. De oude blijft staan. Je herkent een herhaling aan een runnummer als 1b.
Waar gaat je data heen?
Je data gaat naar de aanbieder
Met onze verzonnen data is dat geen probleem. Met echte klantgegevens wel. Dan heb je in principe eerst afspraken met de aanbieder nodig, zoals een verwerkersovereenkomst.
Je data blijft binnen
Een lokaal model draait op een computer die je zelf hebt staan. De data gaat niet naar buiten. Daarom testen we lokaal en cloud naast elkaar. Scoort de cloud beter, dan staat dat er ook gewoon.
Als we zelf een fout maken
Het nakijkprogramma en het antwoordmodel maken we zelf. Daar kunnen fouten in zitten. Vinden we er een, dan doen we dit.
- We repareren de fout en geven het nakijkprogramma een nieuw versienummer.
- We kijken alle runs opnieuw na. Daarvoor bewaren we de uitvoer van elke run.
- We vervangen de cijfers op de site door de nieuwe.
- We melden hieronder wat er veranderde en wanneer.
-
Modellen leveren naast de geanonimiseerde mails een koppeltabel aan: een lijst met welk label bij welk origineel hoort. Die tabel kwam in drie vormen binnen, en de eerste versie van het nakijkprogramma las ze niet allemaal goed. Ook telde een naam met een andere hoofdletter als een andere naam.
Versie 2 leest alle drie de vormen en let bij namen niet op hoofdletters. Ook ontbrak in het antwoordmodel van set 2 één naam: in een mail staat “twee keer Sanne”. Die hebben we toegevoegd. Daardoor telt set 2 nu 151 persoonsgegevens in plaats van 150. Daarna hebben we alle runs van test 1 opnieuw nagekeken. Dit was vóór publicatie. Alle cijfers op deze site komen uit versie 2.
Zie je een gat in onze aanpak?
Laat het weten. Een goede vraag maakt de volgende test beter. Of vertel welke taak bij jullie steeds terugkomt.
