Afgelopen zomer was in het nieuws dat OpenAI, het bedrijf achter ChatGPT, is aangeklaagd door de ouders van een 16-jarige Amerikaanse jongen die zelfmoord heeft gepleegd na lange gesprekken met de chatbot. Ook in Nederland gebruiken jongeren steeds meer AI-chatbots zoals ChatGPT, Snapchat My AI of andere chatbots om mee te praten over mentale en gezondheidsproblemen, financieel en politiek (stem)advies of virtuele vriendschappen en relaties. Het gesprek met de chatbot gaat over schoolstress, ruzie thuis, onzekerheid, mentale of lichamelijke klachten. Voor veel kinderen voelt AI als een veilige plek: altijd beschikbaar, niet oordelend en discreet. Het gebruik roept echter belangrijke (privacy)vragen op over de rol van AI in het dagelijks leven van jongeren, hoe zij veilig gebruik kunnen maken van deze technologie en welke rol betrokken partijen hierbij kunnen hebben.
Aan NOS Stories vertelden jongeren waarom zij AI in hun dagelijks leven gebruiken.[1] Eén van de gebruikers gaf aan dat hij niet veel deelt met mensen, maar wel zijn ‘ei’ kwijt kon bij ChatGPT. Het was veel laagdrempeliger, makkelijker en minder confronterend.
Daarnaast geven de jongeren aan dat AI er altijd is. Dit in tegenstelling tot bijvoorbeeld de gezondheidszorg, waar soms (lange) wachtlijsten zijn. Psychologen benadrukken ook dat mensen met beginnende klachten of die op de wachtlijst staan voor een behandeling, baat kunnen hebben bij gesprekken met een chatbot, maar zien zeker ook de risico’s.[2]
AI-chatbots brengen verschillende risico’s met zich mee, vooral voor kwetsbare gebruikers zoals jongeren. De output van een AI-chatbot is immers gebaseerd op een statistisch voorspelmodel waardoor antwoorden niet per se juist zijn of waarheid bevatten. Het is dus inherent aan de wijze waarop deze chatbots werken dat je niet zomaar kunt vertrouwen op de antwoorden en deze eigenlijk altijd zou moeten controleren.
Doordat het bijzonder overtuigend klinkt zijn jongeren echter al snel geneigd de antwoorden voor waar aan te nemen. Daarnaast bevatten AI-chatbots vaak verslavende elementen zodat gebruikers langer blijven chatten. Dit wordt gedaan door het gesprek te eindigen met een vraag aan de gebruiker, om de interactie te verlengen en gebruikers langer betrokken te houden. Ook doen sommige AI-apps zich voor als echte mensen, door virtuele personages aan te bieden om mee te chatten, variërend van ‘droompartners’ en filmkarakters tot psychologen. De vormgeving kan hyperrealistisch zijn, zoals het verschijnen van een telefoongesprekscherm wanneer er gebruik wordt gemaakt van de spraakoptie. Hierdoor lijkt het alsof de gebruiker kan ‘bellen’ met de virtuele gesprekspartner. Dit gevoel wordt alleen maar versterkt als de AI-bot ook nog eens klinkt als een echt persoon en de aanbieder van de chatbot niet transparant is over het feit dat er niet met een echt persoon wordt gecommuniceerd. Tot slot kan het gebruik van AI-chatbots in crisissituaties gevaarlijk zijn. Allereerst omdat AI-chatbots niet in staat zijn om een gepersonaliseerd behandelplan op te stellen, zoals een professional. Ook verwijzen AI-chatbots vaak niet, nauwelijks of op een verkeerde wijze door naar hulpinstanties. Dit komt doordat een AI-chatbot geen emoties en nuances in gesprekken herkent. Het begrijpt context niet zoals een hulpverlener dat doet, en kent geen empathie of verantwoordelijkheid. Dit kan als gevolg hebben dat de gebruiker vertrouwt op antwoorden die hem of haar niet verder helpen en uiteindelijk zelfs niet de zorg krijgt die nodig is.
De aanbieders van veel van deze apps zijn commerciële bedrijven. Deze partijen hebben een winstoogmerk en krijgen via deze gesprekken toegang tot veel persoonlijke informatie.[3] Dit zijn ook vaak bijzondere persoonsgegevens in de zin van de AVG: gegevens over gezondheid, gezinssituatie of emotioneel welzijn. De AVG stelt strenge eisen aan de verwerking van dergelijke gegevens. Volgens de Privacyverklaring van ChatGPT worden persoonsgegevens gedeeld met derden en gelieerde ondernemingen van OpenAI.[4] Hierdoor kan het risico ontstaan dat persoonsgegevens buiten de oorspronkelijke context worden gebruikt of verwerkt voor andere doeleinden dan waarvoor ze zijn verstrekt. Dit kan leiden tot verlies van controle over de eigen gegevens. Daarnaast kan een lager beveiligingsniveau of doorgifte naar landen buiten de EU de kans op misbruik of onbevoegde toegang vergroten. Ook worden de persoonsgegevens gebruikt voor doorontwikkeling van de AI-modellen. Dit heeft een indirect commercieel doel, betere modellen maken het product namelijk waardevoller en concurrerender.
Het is belangrijk om als ouder(s) betrokken te blijven bij een AI-chatbot of app die altijd beschikbaar is. Digiwijzer benadrukt dat het belangrijk is om met jongeren te bespreken hoe AI werkt, wat het wel en niet kan, en waarom het belangrijk is om bewust om te gaan met AI-technologie.[5] Dit vraagt van ouders om actief het gesprek aan te gaan over het gebruik dat een kind maakt van een AI-chatbot en daarbij uit te leggen dat een chatbot geen mens is, niet vertrouwelijk omgaat met wat een kind deelt en verkeerde adviezen kan geven. Controleer als ouders ook de instellingen bij AI-chatbots om zo min mogelijk gegevens te delen met de aanbieder(s) van dergelijke AI-technologieën.
Scholen krijgen steeds vaker te maken met AI in de klas, zowel als leerhulpmiddel als in de leefwereld van leerlingen. Het onderwijs heeft wat dat laatste betreft een dubbele rol: voorlichting en bescherming. Volgens een artikel bij Kennisnet is ‘een goede AI-strategie voor iedere school een noodzaak’.[6] Zonder een eigen visie op AI verliest de school de regie over de inzet van AI. Een voorwaarde is dat scholen begrijpen hoe AI werkt, waar de grenzen liggen en wat het betekent voor jongeren. Dat vraagt digitale geletterdheid, kritisch denken over technologie, en inzicht in het gebruik dat jongeren maken van AI.
De overheid speelt een belangrijke rol in het waarborgen van verantwoord gebruik van AI-technologie door jongeren. Enerzijds heeft zij de taak jongeren te beschermen tegen risico’s zoals schending van privacy, manipulatie, discriminatie en blootstelling aan ongeschikte inhoud. Dit doet de overheid door wetten en richtlijnen vast te stellen, toezicht te houden op naleving en bewustwording te stimuleren over veilig gebruik van AI. Anderzijds vervult de overheid een ondersteunende rol door jongeren te helpen de nodige kennis en vaardigheden te ontwikkelen om AI kritisch en verantwoord te gebruiken. Dit kan bijvoorbeeld door digitale geletterdheid in het onderwijs te bevorderen of kennisgeving via mediakanalen. Zo zoekt de overheid een balans tussen het beschermen van jongeren en het stimuleren van hun ontwikkeling in een steeds digitaler wordende samenleving.
Ontwikkelaars en aanbieders van AI-systemen moeten zich realiseren dat kinderen geen gewone gebruikers zijn. Bij OpenAI realiseren ze zich dit, en beschrijven zij in hun Privacyverklaring dat de diensten niet gericht zijn op of bedoeld zijn voor kinderen onder de 13 jaar. Gebruikers onder de 18 jaar moeten toestemming van hun ouder of voogd hebben om OpenAI diensten te gebruiken.[7] Ook hebben de makers van OpenAI naar aanleiding van verontrustende ervaringen een nieuwe functionaliteit speciaal voor ouders geïntroduceerd. Eén van die nieuwe functionaliteiten is dat ouders hun eigen account kunnen koppelen aan die van hun kind, waardoor zij een melding krijgen als ChatGPT signaleert dat hun kind in acute nood verkeert.[8] Dit is een stap in de goede richting, maar een AI-chatbot kan niet inschatten of iemand echt in nood verkeert. De nieuwe functies geven ouders meer grip, maar lossen het kernprobleem niet op.
Ontwerpkeuzes moeten uitgaan van veiligheid en begrijpelijkheid. Belangrijke aandachtspunten zijn dataminimalisatie, transparantie, privacyvriendelijke leeftijdsverificatie-mogelijkheden en ethiek by design. Dit laatste stelt de privacy, bescherming en ontwikkeling van het kind centraal. Ook de Europese AI-verordening introduceert nieuwe verplichtingen voor ontwikkelaars en aanbieders van AI-systemen, zeker wanneer AI interacteert met kinderen en gebruikmaakt van de kwetsbaarheid van minderjarigen.
Privacy First roept de aanbieders van dergelijke AI-chatbots op om hun verantwoordelijkheid te nemen.
[1] Zie NOS Stories 26 september 2025. Zie voor bovengenoemde voorbeelden ook Volkskrant, Ouders klagen ChatGPT aan vanwege zelfmoord van hun zoon, 27 augustus 2025; NOS Nieuws, ChatGPT als hulp bij mentale problemen: ‘Liever AI dan therapie’, 26 september 2025; Telegraaf, 10 procent van de jongeren vraagt liever financieel advies aan AI dan aan hun ouders, 14 oktober 2025; Autoriteit Persoonsgegevens, AP waarschuwt: chatbots geven vertekend stemadvies, 21 oktober 2025; Autoriteit Persoonsgegevens, AI-chatbotapps voor vriendschap en mentale gezondheid ongenuanceerd en schadelijk, 12 februari 2025.
[2] NOS Nieuws, ChatGPT wijst mensen te snel door, merkt zelfdodinghulplijn 113, 26 september 2025.
[3] Autoriteit Persoonsgegevens, AI-chatbotapps voor vriendschap en mentale gezondheid ongenuanceerd en schadelijk, 12 februari 2025.
[4] Privacyverklaring OpenAI, bijgewerkt op 27 juni 2025.
[5] AI laat kinderen praten met fictieve personages: innovatie of risico? | Digiwijzer
[6] Kennisnet, ‘Een goede AI-strategie is voor iedere school een noodzaak’ – Kennisnet, 1 oktober 2025.
[7] Privacyverklaring OpenAI, bijgewerkt op 27 juni 2025.
[8] OpenAI, Betere ChatGPT-ervaringen voor iedereen creëren | OpenAI, 2 september 2025.
