Kan AI dit? / Methode

Methode

Zo testen we

Een uitslag is alleen iets waard als je kunt nagaan hoe hij tot stand kwam. Hier lees je hoe we testen, nakijken en publiceren. Ook wat we doen als we zelf een fout maken.

De route

Van verzonnen mail tot uitslag

  1. Data verzinnen, antwoordmodel vastleggen

    Een programma maakt de testdata: verzonnen klanten, mails en gegevens. Tegelijk maakt het een antwoordmodel. Daarin staat precies welke persoonsgegevens in de mails zitten en wat eruit moet.

  2. Elk model dezelfde opdracht

    Alle modellen werken in dezelfde agentomgeving, met dezelfde opdracht, dezelfde tools en dezelfde bestanden. Alleen het model verschilt. Elk model doet elke set drie keer. Zo’n poging heet een run.

  3. Nakijken door een programma

    Een nakijkprogramma legt het werk van elk model naast het antwoordmodel en telt wat goed en fout ging. Het model ziet het antwoordmodel nooit. Tussen meting en cijfer zit geen mens.

  4. Menselijk beslispunt

    Lezen en publiceren

    Mark leest elk rapport voordat het online komt. Hij past geen cijfers aan. Hij beslist of de tekst klopt en duidelijk is.

Verzonnen data

Een bedrijf dat niet bestaat

Alle tests spelen bij Spaaksma Fietsen. Dat bedrijf is verzonnen. Het heeft wel alles wat een gewoon MKB-bedrijf heeft.

Spaaksma Fietsen begon in 1971 als rijwielhandel in een verzonnen plaats in Friesland. Kleindochter Femke leidt het bedrijf nu. Er werken 30 mensen, verdeeld over winkel, webshop, werkplaats, klantenservice, administratie, HR en zakelijke lease. Femke wil weten welke AI haar echt tijd bespaart, en wat ze veilig met klantgegevens kan doen.

De klanten en hun gegevens zijn ook verzonnen. Namen komen uit een vaste lijst. Die lijst controleren we op namen van echte mensen uit onze omgeving, zodat niemand er per ongeluk in staat. IBAN’s kloppen qua opbouw, maar horen bij geen echte rekening. Merken en software in de mails zijn verzonnen.

Het script dat de data maakt, gebruikt een vaste startwaarde. Zo kunnen we elke test later precies opnieuw draaien.

Omdat alles verzonnen is, mogen we de data ook naar cloudmodellen sturen. Met echte klantgegevens zou dat niet zomaar mogen.

De volledige testset publiceren we nog niet. Per test laten we wel voorbeelden zien.

Opstelling

Dezelfde opstelling voor elk model

De modellen werken als agent. Ze krijgen de opdracht en de bestanden, en bepalen zelf hoe ze het aanpakken. Sommige schrijven een script, andere doen het met de hand.

Lokaal. Het lokale model draait op één eigen AI-computer op kantoor, een NVIDIA DGX Spark. Er gaat niets naar buiten.

Cloud. We gebruiken voor nu nog geen API-budget. Daarmee betaal je per gebruik, bijvoorbeeld om AI aan je eigen software te koppelen. Wij willen testen zoals de meeste MKB-bedrijven nu met AI werken: met een gewoon abonnement. Claude en Grok testen we op een betaald abonnement. ChatGPT testen we op het gratis plan, omdat veel MKB’ers dat gebruiken. Dat is geen gelijke vergelijking, en zo presenteren we het ook niet.

Zonder AI. Ook zonder AI kun je persoonsgegevens uit tekst laten halen. Daar bestaat al jaren gewone software voor. Wij gebruiken Presidio, gratis software van Microsoft die hier veel voor wordt gebruikt, met een Nederlandse taalmodule (spaCy NL). Presidio zoekt met vaste patronen, zoals “vier cijfers en twee letters is een postcode”, en herkent namen in Nederlandse zinnen. Een AI-taalmodel zoals ChatGPT zit er niet in. Zo zie je wat AI toevoegt aan wat je zonder AI al kunt. Omdat Presidio elke keer precies hetzelfde doet, draait het één keer per set.

Wie meedeed aan test 1
Model of tool Soort Waar het draait Toegang Getest op
Qwen3.8-Flash-Nextopen modellokaal, eigen AI-computer (NVIDIA DGX Spark)eigen hardware28 en 29 oktober 2026
Claude Sonnet 5cloudmodelbij de aanbiedervia abonnement28 en 29 oktober 2026
Grok 4.7cloudmodelbij de aanbiedervia abonnement28 en 29 oktober 2026
ChatGPT (gratis plan)cloudmodel, model gpt-6-lunabij de aanbiedergratis plan28 en 29 oktober 2026
Presidio met spaCy NLsoftware zonder AIlokaalopen source28 oktober 2026

Cloudmodellen kunnen veranderen zonder dat je het merkt. Daarom noemen we bij elke uitslag het model en de datum.

Nakijken

Met een antwoordmodel, niet op gevoel

Net als bij een proefwerk op school hoort bij elke test een antwoordmodel. Daarin staat wat het goede antwoord is. We maken het tegelijk met de verzonnen mails. Het ligt dus klaar voordat een AI-model de mails ziet.

Bij test 1 staat in het antwoordmodel welke persoonsgegevens in elke mail zitten. En wat juist moet blijven staan, zoals ordernummers, productnamen en de klacht zelf. Alles weghalen levert dus niets op.

Het nakijken doet een computerprogramma dat we zelf schreven: het nakijkprogramma. Er zit geen AI in, en er kijkt geen mens mee. Het legt het werk van elk model naast het antwoordmodel en telt:

  • hoeveel persoonsgegevens het model vond;
  • welke zware gegevens het miste: IBAN, gezondheid, geboortedatum, BSN en bijzondere gegevens zoals geloof;
  • hoeveel het weghaalde van wat moest blijven staan;
  • hoe lang het duurde.

De scores gaan rechtstreeks van het nakijkprogramma naar het rapport. Er zit geen handwerk tussen.

De oordeelregels

Elke run krijgt één oordeel. Dit zijn de regels, woord voor woord zoals ze in onze data staan:

ja
0 gemist in de zware categorieën (IBAN, gezondheid, geboortedatum, BSN, bijzondere gegevens), ≥ 98% gevonden, ≤ 2% te veel weggehaald
met een mens erbij
95–98% gevonden, of fouten alleen in lichte categorieën
nee
minder dan 95%, of een gemist zwaar gegeven dat je niet ziet zonder alles na te lezen

Het antwoord op het scorebord

Elk model doet de test meerdere keren. Op het scorebord staat de slechtste uitslag van al die runs. Eén run waarin een zwaar gegeven gemist is, maakt het antwoord nee. Je weet vooraf namelijk niet of je de goede of de foute run krijgt. Daarom staat ernaast hoe vaak het wel goed ging.

Geen losse percentages

We schrijven “172 van 173 gevonden” of “5 van 6 runs ja”. Dan zie je altijd waar een getal over gaat.

Herhalen

Elke run telt, ook als hij mislukt

Taalmodellen geven niet elke keer hetzelfde antwoord. Daarom draait elk model elke set drie keer, en tellen alle runs mee.

Fout van het model

Telt als uitslag

Loopt een run vast op iets wat het model zelf doet, dan is dat de uitslag. In test 1 schreef ChatGPT een script met een fout en kwam het niet verder. Die run telt als nee.

Fout in onze opstelling

Technische uitval

Breekt een run af door onze eigen opstelling, dan krijgt hij geen oordeel. Hij staat wel in de tabel. In test 1 gebeurde dat één keer bij Claude: de verbinding bleef te lang stil en onze opstelling stopte de run. We hebben de wachttijd verlengd en de run herhaald.

Herhaling

Komt erbij, vervangt niets

Herhalen we een run, dan komt de nieuwe run erbij. De oude blijft staan. Je herkent een herhaling aan een runnummer als 1b.

Lokaal of cloud

Waar gaat je data heen?

Cloud

Je data gaat naar de aanbieder

Met onze verzonnen data is dat geen probleem. Met echte klantgegevens wel. Dan heb je in principe eerst afspraken met de aanbieder nodig, zoals een verwerkersovereenkomst.

Lokaal

Je data blijft binnen

Een lokaal model draait op een computer die je zelf hebt staan. De data gaat niet naar buiten. Daarom testen we lokaal en cloud naast elkaar. Scoort de cloud beter, dan staat dat er ook gewoon.

Correcties

Als we zelf een fout maken

Het nakijkprogramma en het antwoordmodel maken we zelf. Daar kunnen fouten in zitten. Vinden we er een, dan doen we dit.

  1. We repareren de fout en geven het nakijkprogramma een nieuw versienummer.
  2. We kijken alle runs opnieuw na. Daarvoor bewaren we de uitvoer van elke run.
  3. We vervangen de cijfers op de site door de nieuwe.
  4. We melden hieronder wat er veranderde en wanneer.
  1. Modellen leveren naast de geanonimiseerde mails een koppeltabel aan: een lijst met welk label bij welk origineel hoort. Die tabel kwam in drie vormen binnen, en de eerste versie van het nakijkprogramma las ze niet allemaal goed. Ook telde een naam met een andere hoofdletter als een andere naam.

    Versie 2 leest alle drie de vormen en let bij namen niet op hoofdletters. Ook ontbrak in het antwoordmodel van set 2 één naam: in een mail staat “twee keer Sanne”. Die hebben we toegevoegd. Daardoor telt set 2 nu 151 persoonsgegevens in plaats van 150. Daarna hebben we alle runs van test 1 opnieuw nagekeken. Dit was vóór publicatie. Alle cijfers op deze site komen uit versie 2.

Zie je een gat in onze aanpak?

Laat het weten. Een goede vraag maakt de volgende test beter. Of vertel welke taak bij jullie steeds terugkomt.

Neem contact op