De AP waarschuwt: chatbots geven gekleurd stemadvies. Jouw klantchatbot heeft hetzelfde probleem.

De AP legde vier bekende AI-chatbots stellingen voor en vergeleek de uitkomsten met de stemhulpen Kieskompas en StemWijzer. De uitkomst: in ruim 56 procent van de gevallen stond ongeacht de invoer PVV of GroenLinks-PvdA bovenaan het advies. Partijen als CDA, BBB en SGP kwamen vrijwel nooit als eerste keuze naar voren.

Lees die zin nog een keer: ongeacht de invoer. De chatbots gaven geen advies dat uit de antwoorden van de gebruiker volgde; ze gaven een uitkomst die uit het systeem zelf kwam en er plausibel uitzag. Wie zijn profiel invulde, kreeg geen spiegel maar een gok met een strik eromheen.

De timing van de publicatie, vlak voor de verkiezingen van 29 oktober, maakt het onderwerp politiek. Maar het onderzoek gaat in de kern niet over politiek. Het is de duidelijkste Nederlandse demonstratie tot nu toe van iets dat elke chatbot aangaat: systematische kleuring die je zonder meetlat niet ziet.

De verklaring van de AP is technisch nuchter: chatbot-antwoorden leunen op trainingsdata die niet verifieerbaar is, en mogelijk op verouderde internetinformatie. Een taalmodel weet niet wat waar is; het produceert wat waarschijnlijk klinkt op basis van wat het gezien heeft. Zit daar een scheefheid in, dan zit die scheefheid in elk antwoord, netjes geformuleerd en op stellige toon.

De AP vindt dan ook dat AI-systemen die stemadvies geven aan strenge eisen moeten voldoen. Je kunt afwachten of dat soort eisen breder gaat gelden. Je kunt de onderliggende les ook nu alvast toepassen, want die geldt niet alleen voor stemadvies.

Vervang stemadvies door productadvies en het onderzoek gaat over jouw website. Een chatbot die klantvragen beantwoordt vanuit het model zelf, zonder verankering in jouw eigen gegevens, heeft precies dezelfde eigenschap: de antwoorden klinken zelfverzekerd, en de kleuring is onzichtbaar totdat iemand systematisch gaat meten.

Dat kan onschuldig uitpakken, maar ook niet. Een chatbot die steevast hetzelfde producttype aanraadt ongeacht de klantvraag, doet hetzelfde als de stemhulp-bots hierboven. Een chatbot die een leveringsvoorwaarde verzint die net niet klopt, of een prijs noemt van vorig jaar, geeft antwoorden waar je als bedrijf aan vastzit. De klant hoort het verschil niet tussen een opgezocht antwoord en een gegokt antwoord; dat is nou juist wat deze systemen zo overtuigend maakt.

Het AP-onderzoek laat ook zien hoe je dit soort kleuring wél vindt: door de uitkomsten naast een meetlat te leggen. De AP had Kieskompas en StemWijzer; jij hebt je eigen assortiment, je eigen voorwaarden en je eigen prijzen. Dat is je meetlat.

De regel die ik hieruit haal voor elk MKB-bedrijf met een klantchatbot, of met plannen daarvoor: chatbot-output moet toetsbaar zijn tegen een verifieerbare bron. Anders is het geen advies maar een gok, en gokken doe je niet in je klantcontact.

1. Veranker de antwoorden in je eigen gegevens: productdata, voorwaarden, prijzen. De chatbot citeert die bron in plaats van uit eigen geheugen te antwoorden.
2. Test met scheve vragen vóór livegang: stel dezelfde vraag op tien manieren en kijk of het advies met de vraag meebeweegt of zijn eigen voorkeur volgt.
3. Log wat de chatbot antwoordt en kijk er periodiek doorheen, want kleuring zie je niet in één gesprek maar wel in honderd.

Geen van deze drie stappen vraagt om nieuwe technologie. Ze vragen om een proces: bron, toets, controle. Wie dat proces niet wil inrichten, kan beter geen chatbot met klanten laten praten. Dat is geen conservatisme; het is dezelfde zorgvuldigheid die je van elke nieuwe medewerker met klantcontact zou vragen.