Samenvatting
- Uit ons nieuwe onderzoek onder 1,000 kinderen en 2,000 ouders in het Verenigd Koninkrijk blijkt dat steeds meer kinderen (64%) AI-chatbots gebruiken voor hulp bij van alles, van huiswerk tot emotioneel advies en gezelschap. Veel kinderen twijfelen er nooit aan of de antwoorden die ze krijgen wel kloppen of niet.
- Het rapport, “Ik, mezelf en AI”, beschrijft hoe veel kinderen steeds vaker met AI-chatbots praten alsof ze vrienden zijn, ondanks dat veel van de populaire AI-chatbots niet speciaal voor kinderen zijn ontworpen. Meer dan een derde (35%) van de kinderen die ze gebruiken, zegt dat praten met een AI-chatbot hetzelfde is als praten met een vriend, terwijl zes op de tien ouders zich zorgen maken dat hun kinderen denken dat AI-chatbots echte mensen zijn.
- Het rapport waarschuwt dat kwetsbare kinderen het grootste risico lopen. Uit het onderzoek blijkt dat 71% van de kwetsbare kinderen AI-chatbots gebruikt. Een kwart (26%) van de kwetsbare kinderen die AI-chatbots gebruiken, zegt liever met een AI-chatbot te praten dan met een echt persoon, en 23% zegt chatbots te gebruiken omdat ze niemand anders hebben om mee te praten.
- Het rapport waarschuwt dat kinderen AI-chatbots gebruiken op platforms die niet voor hen zijn ontworpen, zonder dat er voldoende waarborgen zijn, zoals leeftijdsverificatie en moderatie van inhoud. Ook wordt de overheid opgeroepen om te verduidelijken op welke manier AI-chatbots onder de reikwijdte van de Online Safety Act vallen.
- Kinderen gebruiken AI steeds vaker als hulpmiddel bij schoolwerk. Het rapport pleit ervoor dat scholen duidelijke en consistente richtlijnen krijgen voor het opbouwen van de kennis en het gebruik van AI bij kinderen, inclusief chatbots. Ouders hebben ook moeite om het tempo van AI bij te benen en hebben ondersteuning nodig om hun kinderen te begeleiden bij het zelfverzekerd en verantwoord gebruiken ervan.
Vandaag (zondag 13 julie) we hebben een nieuw rapport gepubliceerd, 'Ik, mezelf en AI: het gebruik van AI-chatbots door kinderen begrijpen en beschermen'.
Nu AI-chatbots snel een vast onderdeel worden van het dagelijks leven van kinderen, onderzoekt het rapport hoe kinderen ermee omgaan. Het rapport benadrukt hoe AI-tools kinderen voordelen kunnen bieden, zoals: Naast leerondersteuning en een ruimte om vragen te stellen, waarschuwt het ook dat ze risico's vormen voor de veiligheid en ontwikkeling van kinderen. Door een gebrek aan leeftijdsverificatie en -regulering worden sommige kinderen blootgesteld aan ongepaste inhoud.
Ons onderzoek maakt zich zorgen dat kinderen AI-chatbots gebruiken op emotioneel gemotiveerde manieren, bijvoorbeeld voor vriendschap en advies, ondanks dat veel van de populaire AI-chatbots niet speciaal voor kinderen zijn ontwikkeld. Het rapport waarschuwt dat kinderen te afhankelijk kunnen worden van AI-chatbots of onnauwkeurige of ongepaste antwoorden kunnen krijgen, waardoor ze mogelijk minder snel hulp zullen zoeken bij volwassenen die ze vertrouwen.
Deze zorgen zijn aangewakkerd door incidenten, zoals een zaak in Florida waarbij een moeder een rechtszaak aanspande tegen character.ai. Ze beweerde dat een AI-chatbot, gebaseerd op een personage uit Game of Thrones, misbruik en seksuele interacties had met haar tienerzoon en hem had aangemoedigd zelfmoord te plegen. In het Verenigd Koninkrijk vertelde een parlementslid onlangs aan het parlement over "een uiterst aangrijpende ontmoeting" met een kiezer wiens 12-jarige zoon naar verluidt was gemanipuleerd door een chatbot op hetzelfde platform.
Het rapport stelt dat de overheid en de techsector opnieuw moeten onderzoeken of de bestaande wet- en regelgeving kinderen die AI-chatbots gebruiken, voldoende beschermt. Er is steeds meer erkenning dat meer duidelijkheid, bijgewerkte richtlijnen of nieuwe wetgeving nodig kunnen zijn. We roepen de overheid in het bijzonder op om strenge leeftijdsgarantie-eisen te stellen aan aanbieders van AI-chatbots, zodat aanbieders de minimumleeftijd handhaven en leeftijdsgeschikte ervaringen voor kinderen creëren.
Om ons onderzoek te ondersteunen, hebben we een representatieve steekproef van 1,000 kinderen in het Verenigd Koninkrijk van 9 tot 17 jaar en 2,000 ouders van kinderen van 3 tot 17 jaar ondervraagd en vier focusgroepen met kinderen gehouden. Gebruikerstests werden uitgevoerd op drie AI-chatbots: ChatGPT, Snapchat's My AI en character.ai. Ook werden er twee 'avatars' gemaakt om de ervaring van een kind op deze platforms te simuleren.
De belangrijkste bevindingen van dit onderzoek zijn:
- Kinderen gebruiken AI-chatbots op uiteenlopende en creatieve manieren. 42% van de kinderen tussen 9 en 17 jaar die AI-chatbots hebben gebruikt, heeft deze gebruikt ter ondersteuning bij schoolwerk. Kinderen gebruiken ze ter ondersteuning bij het herhalen van leerstof, schrijfondersteuning en het 'oefenen' van taalvaardigheden. Velen stellen het op prijs dat ze direct antwoord en uitleg krijgen.
- Advies vragen: Bijna een kwart (23%) van de kinderen die een AI-chatbot hebben gebruikt, heeft deze al gebruikt om advies te vragen over kleding of om gesprekken met vrienden te oefenen, of om belangrijkere zaken zoals mentale gezondheid te bespreken. Sommige kinderen die AI-chatbots hebben gebruikt (15%) geven aan dat ze liever met een chatbot praten dan met een echt persoon.
- gezelschap: Vooral kwetsbare kinderen gebruiken AI-chatbots voor verbinding en comfort. Een op de zes (16%) kwetsbare kinderen gaf aan dat ze ze gebruiken omdat ze een vriend wilden, terwijl de helft (50%) zegt dat praten met een AI-chatbot voelt als praten met een vriend. Sommige kinderen gebruiken AI-chatbots omdat ze niemand anders hebben om mee te praten.
- Onjuiste en onvoldoende antwoorden: Kinderen deelden voorbeelden van misleidende of onjuiste antwoorden, wat werd bevestigd door onze eigen gebruikerstests. AI-chatbots slaagden er soms niet in om kinderen te ondersteunen met duidelijk en uitgebreid advies via hun antwoorden. Dit is met name zorgwekkend, aangezien 58% van de kinderen die AI-chatbots hebben gebruikt, aangaf dat het gebruik van een AI-chatbot beter is dan zelf zoeken.
- Hoog vertrouwen in advies: Twee op de vijf (40%) kinderen die AI-chatbots hebben gebruikt, maken zich geen zorgen over het opvolgen van adviezen van een chatbot, en nog eens 36% weet niet zeker of ze zich zorgen moeten maken. Dit percentage ligt nog hoger bij kwetsbare kinderen. Dit ondanks het feit dat AI-chatbots soms tegenstrijdige of niet-ondersteunende adviezen geven.
- Blootstelling aan schadelijke inhoud: Kinderen kunnen worden blootgesteld aan expliciet en leeftijdongepast materiaal, waaronder vrouwenhatende content, ondanks het feit dat AI-chatbotleveranciers deze content voor kinderen verbieden in hun servicevoorwaarden.
- Vage grenzen: Sommige kinderen zien AI-chatbots al als mensachtig: 35% van de kinderen die AI-chatbots gebruiken, zegt dat praten met een AI-chatbot hetzelfde is als praten met een vriend. Naarmate AI-chatbots steeds menselijker worden in hun reacties, kunnen kinderen meer tijd besteden aan interactie met AI-chatbots en emotioneel afhankelijker worden. Dit is zorgwekkend, aangezien één op de acht (12%) kinderen AI-chatbots gebruikt omdat ze niemand anders hebben om mee te praten, wat oploopt tot bijna één op de vier (23%) kwetsbare kinderen.
- Kinderen moeten zelf met AI-chatbots omgaan, soms met beperkte inbreng van volwassenen die ze vertrouwen. 62% van de ouders geeft aan zich zorgen te maken over de nauwkeurigheid van door AI gegenereerde informatie, maar slechts 34% van de ouders heeft met hun kind gesproken over hoe ze kunnen beoordelen of door AI geproduceerde content waarheidsgetrouw is. Slechts 57% van de kinderen geeft aan met leerkrachten of de school over AI te hebben gesproken, en kinderen geven aan dat adviezen van leerkrachten binnen scholen ook tegenstrijdig kunnen zijn.
Het rapport bevat ook aanbevelingen voor het hele systeem om kinderen die AI-chatbots gebruiken te ondersteunen en beschermen, waaronder:
- Industrie een 'safety-by-design'-benadering hanteren om AI-chatbots te creëren die passen bij de leeftijd van kinderen en die voorzien in ingebouwde ouderlijk toezicht, betrouwbare wegwijzers en functies voor mediawijsheid.
- Overheid het bieden van duidelijke richtlijnen over hoe AI-chatbots vallen onder de Online Safety Act, het verplicht stellen van effectieve leeftijdswaarborging voor aanbieders van AI-chatbots die niet zijn ontwikkeld voor kinderen, en het waarborgen dat de regelgeving gelijke tred houdt met de snel evoluerende AI-technologieën.
- Overheidssteun voor scholen om AI en mediawijsheid te verankeren in alle belangrijke fasen, inclusief het opleiden van leerkrachten en het bieden van duidelijke richtlijnen aan scholen, ouders en kinderen over het juiste gebruik van AI.
- Ouders en verzorgers ondersteuning krijgen bij het begeleiden van de omgang met AI door hun kind en gesprekken voeren over wat AI-chatbots zijn, hoe ze werken en wanneer ze ze moeten gebruiken, inclusief wanneer ze om echte ondersteuning moeten vragen.
- Beleidsmakers, onderzoek en industrie de stem van kinderen centraal stellen bij de ontwikkeling, regulering en het bestuur van AI-chatbots en investeren in langetermijnonderzoek naar de wijze waarop emotioneel responsieve AI de kindertijd kan vormgeven.
Rachel Huggins, co-CEO van Internet Matters, zei:
AI-chatbots worden snel een vast onderdeel van de kindertijd en hun gebruik is de afgelopen twee jaar enorm toegenomen. Toch vliegen de meeste kinderen, ouders en scholen blind en beschikken ze niet over de informatie of beschermende tools die ze nodig hebben om deze technologische revolutie veilig te beheren.
Hoewel AI duidelijk voordelen biedt, laat ons onderzoek zien hoe chatbots de kijk van kinderen op 'vriendschap' beginnen te veranderen. We zijn al snel op een punt beland waarop kinderen, en met name kwetsbare kinderen, AI-chatbots als echte mensen kunnen zien en hen daarom om emotioneel en gevoelig advies vragen. Ook zorgwekkend is dat ze vaak onnadenkend reageren op wat hun nieuwe 'vrienden' hen vertellen.
We moeten deze vroege waarschuwingssignalen ter harte nemen en gecoördineerde actie ondernemen om ervoor te zorgen dat kinderen de mogelijkheden van AI-chatbots veilig en positief kunnen verkennen en de voor de hand liggende potentiële schade kunnen vermijden.
Miljoenen kinderen in het Verenigd Koninkrijk gebruiken AI-chatbots op platforms die niet voor hen zijn ontworpen, zonder adequate beveiliging, voorlichting of toezicht. Ouders, verzorgers en leerkrachten hebben ondersteuning nodig om het AI-gebruik van kinderen te begeleiden. De techindustrie moet een 'safety by design'-benadering hanteren bij de ontwikkeling van AI-chatbots, terwijl de overheid ervoor moet zorgen dat onze wetgeving inzake online veiligheid robuust genoeg is om de uitdagingen aan te gaan die deze nieuwe technologie met zich meebrengt voor het leven van kinderen.
Derek Ray-Hill, interim-CEO van de Internet Watch Foundation, zei::
“Dit rapport roept een aantal fundamentele vragen op over de regulering en het toezicht op deze AI-chatbots.
Dat kinderen via AI-chatbots mogelijk te maken krijgen met expliciete of leeftijdsongeschikte content, vergroot de kans op schadelijke gevolgen in een omgeving die, zoals ons bewijs suggereert, al een uitdaging vormt voor jonge gebruikers. Berichten dat er via deze technologie mogelijk sprake is van grooming, zijn bijzonder verontrustend.
Kinderen verdienen een veilig internet waar ze kunnen spelen, socializen en leren zonder dat ze worden blootgesteld aan gevaar. We moeten dringend actie ondernemen van de overheid en technologiebedrijven om veiligheid in AI-chatbots te integreren voordat ze beschikbaar worden gesteld.
