Neuer Bericht enthüllt, wie riskant und unkontrolliert KI-Chatbots für Millionen von Kindern zur neuen Anlaufstelle werden 

Zusammenfassung

• Unsere neue Umfrage unter 1,000 Kindern und 2,000 Eltern in Großbritannien zeigt, dass immer mehr Kinder (64 %) KI-Chatbots zur Unterstützung bei allen möglichen Dingen nutzen, von den Hausaufgaben bis hin zu emotionaler Beratung und Gesellschaft – und viele von ihnen stellen nie die Genauigkeit oder Angemessenheit der Antworten in Frage, die sie erhalten.  
• Der Bericht, „Ich, ich selbst und KI“beschreibt, wie immer mehr Kinder mit KI-Chatbots wie mit Freunden kommunizieren, obwohl viele der beliebten KI-Chatbots nicht für diese Nutzung durch Kinder konzipiert sind. Über ein Drittel (35 %) der Kinder, die KI-Chatbots nutzen, sagen, dass sich das Gespräch mit einem KI-Chatbot wie ein Gespräch mit einem Freund anfühlt. Sechs von zehn Eltern geben an, sie seien besorgt, dass ihre Kinder KI-Chatbots für echte Menschen halten.   
• Der Bericht warnt, dass besonders gefährdete Kinder am stärksten gefährdet sind. Die Umfrage ergab, dass 71 % der gefährdeten Kinder KI-Chatbots nutzen. Ein Viertel (26 %) der betroffenen Kinder, die KI-Chatbots nutzen, geben an, lieber mit einem KI-Chatbot als mit einer echten Person zu sprechen. 23 % gaben an, Chatbots zu nutzen, weil sie sonst niemanden zum Reden haben.  
• Der Bericht warnt davor, dass Kinder KI-Chatbots auf Plattformen verwenden, die nicht für sie konzipiert sind, und zwar ohne angemessene Sicherheitsvorkehrungen wie Altersüberprüfung und Inhaltsmoderation. Er fordert die Regierung auf, klarzustellen, inwiefern KI-Chatbots in den Geltungsbereich des Online Safety Act fallen. 
• Kinder nutzen KI zunehmend zur Unterstützung bei Schulaufgaben. Der Bericht fordert, dass Schulen klare und einheitliche Leitlinien erhalten, um das Wissen und die Nutzung von KI, einschließlich Chatbots, bei Kindern zu fördern. Auch Eltern haben Schwierigkeiten, mit der rasanten Entwicklung der KI Schritt zu halten und benötigen Unterstützung, um ihre Kinder zu einem sicheren und verantwortungsvollen Umgang mit KI zu führen. 

Heute (Sonntag, 13. Juli^Mai) wir haben einen neuen Bericht veröffentlicht, „Ich, ich selbst und KI: Die Nutzung von KI-Chatbots durch Kinder verstehen und schützen“. 

Da KI-Chatbots schnell zum Alltag von Kindern werden, untersucht der Bericht, wie Kinder mit ihnen interagieren. Der Bericht hebt hervor, welche Vorteile KI-Tools Kindern bieten können, beispielsweise Lernunterstützung und Raum zum Fragenstellen, warnt aber auch davor, dass sie Risiken für die Sicherheit und Entwicklung von Kindern darstellen. Mangelnde Altersüberprüfung und -regulierung bedeutet, dass einige Kinder unangemessenen Inhalten ausgesetzt sind.  

Unsere Forschung gibt Anlass zur Sorge, dass Kinder KI-Chatbots emotional nutzen, unter anderem für Freundschaften und Ratschläge, obwohl viele der beliebten KI-Chatbots nicht für diese Nutzung durch Kinder konzipiert sind. Der Bericht warnt davor, dass Kinder sich zu sehr auf KI-Chatbots verlassen oder ungenaue oder unangemessene Antworten erhalten könnten. Dies könnte dazu führen, dass sie weniger Hilfe von vertrauenswürdigen Erwachsenen suchen. 

Diese Bedenken wurden durch Vorfälle verstärkt, beispielsweise einen Fall in Florida, wo eine Mutter Klage gegen character.ai einreichte. Sie behauptete, ein KI-Chatbot, der auf einer Figur aus Game of Thrones basierte, habe ihren jugendlichen Sohn misshandelt und sexuell missbraucht und ihn zum Selbstmord ermutigt. In Großbritannien berichtete ein Abgeordneter kürzlich dem Parlament von einem „äußerst erschütternden Treffen“ mit einem Wähler, dessen 12-jähriger Sohn angeblich von einem Chatbot auf derselben Plattform manipuliert worden sei. 

Ich, ich selbst und die KI-Forschung

Lesen Sie den vollständigen Bericht.

Der Bericht argumentiert, dass Regierung und Technologiebranche überprüfen müssen, ob bestehende Gesetze und Vorschriften Kinder, die KI-Chatbots nutzen, ausreichend schützen. Es setzt sich zunehmend die Erkenntnis durch, dass mehr Klarheit, aktualisierte Leitlinien oder neue Gesetze erforderlich sein könnten. Insbesondere fordern wir die Regierung auf, strenge Altersgarantien für Anbieter von KI-Chatbots festzulegen, um sicherzustellen, dass diese Mindestaltersanforderungen einhalten und altersgerechte Erfahrungen für Kinder schaffen. 

Für unsere Forschung befragten wir eine repräsentative Stichprobe von 1,000 Kindern im Alter von 9 bis 17 Jahren in Großbritannien sowie 2,000 Eltern von Kindern im Alter von 3 bis 17 Jahren und führten vier Fokusgruppen mit Kindern durch. Benutzertests wurden mit drei KI-Chatbots durchgeführt: ChatGPT, Snapchat My AI und character.ai, und es wurden zwei „Avatare“ erstellt, um die Erfahrungen eines Kindes damit zu simulieren. 

Zu den wichtigsten Ergebnissen dieser Untersuchung zählen: 

• Kinder nutzen KI-Chatbots auf vielfältige und fantasievolle Weise. 42 % der Kinder im Alter von 9 bis 17 Jahren, die KI-Chatbots genutzt haben, nutzten diese zur Unterstützung bei Schulaufgaben. Sie helfen Kindern beim Wiederholen von Texten, beim Schreiben und beim Üben ihrer Sprachkenntnisse. Viele schätzen die sofortigen Antworten und Erklärungen.  
• Ratsuchend: Fast ein Viertel (23 %) der Kinder, die einen KI-Chatbot genutzt haben, nutzten ihn bereits, um Ratschläge einzuholen – von der Kleidungswahl über das Üben von Gesprächen mit Freunden bis hin zu ernsteren Themen wie der psychischen Gesundheit. Einige Kinder, die KI-Chatbots genutzt haben (15 %), geben an, lieber mit einem Chatbot als mit einer echten Person zu sprechen. 
• Gesellschaft: Besonders gefährdete Kinder nutzen KI-Chatbots, um Kontakte zu knüpfen und Trost zu finden. Jedes sechste (16 %) Kind gab an, sie zu nutzen, weil es sich einen Freund wünscht. Die Hälfte (50 %) sagte, dass sich das Gespräch mit einem KI-Chatbot wie ein Gespräch mit einem Freund anfühlt. Manche Kinder nutzen KI-Chatbots, weil sie sonst niemanden zum Reden haben. 
• Ungenaue und unzureichende Antworten: Kinder berichteten von irreführenden oder ungenauen Antworten, was unsere eigenen Nutzertests bestätigten. KI-Chatbots konnten Kindern in ihren Antworten manchmal keine klaren und umfassenden Ratschläge geben. Dies ist besonders besorgniserregend, da 58 % der Kinder, die KI-Chatbots genutzt haben, die Nutzung eines KI-Chatbots für besser hielten, als selbst zu suchen. 
• Hohes Beratungsvertrauen: Zwei von fünf (40 %) Kindern, die KI-Chatbots genutzt haben, haben keine Bedenken, den Ratschlägen eines Chatbots zu folgen, und weitere 36 % sind sich unsicher, ob sie sich Sorgen machen sollten. Bei gefährdeten Kindern ist dieser Anteil sogar noch höher. Und das, obwohl KI-Chatbots manchmal widersprüchliche oder nicht hilfreiche Ratschläge geben. 
• Exposition gegenüber schädlichen Inhalten: Kinder können explizitem und für ihr Alter nicht angemessenem Material ausgesetzt sein, darunter auch frauenfeindlichen Inhalten, obwohl Anbieter von KI-Chatbots diese Inhalte in ihren Servicebedingungen für minderjährige Benutzer verbieten. 
• Verschwommene Grenzen: Manche Kinder empfinden KI-Chatbots bereits als menschenähnlich: 35 % der Kinder, die KI-Chatbots nutzen, sagen, dass sich ein Gespräch mit einem KI-Chatbot wie ein Gespräch mit einem Freund anfühlt. Da KI-Chatbots in ihren Antworten immer menschlicher werden, verbringen Kinder möglicherweise mehr Zeit mit der Interaktion mit KI-Chatbots und werden emotional abhängiger. Dies ist besorgniserregend, da jedes achte (12 %) Kind KI-Chatbots nutzt, weil es sonst niemanden zum Sprechen hat. Das entspricht fast jedem vierten (23 %) gefährdeten Kind.   
• Kinder müssen KI-Chatbots allein oder mit begrenzter Unterstützung von vertrauenswürdigen Erwachsenen navigieren. 62 % der Eltern geben an, sich über die Genauigkeit KI-generierter Informationen Sorgen zu machen. Allerdings haben nur 34 % mit ihrem Kind darüber gesprochen, wie es die Wahrhaftigkeit von KI-Inhalten beurteilen kann. Nur 57 % der Kinder geben an, mit Lehrern oder der Schule über KI gesprochen zu haben. Zudem berichten Kinder, dass die Ratschläge von Lehrern in der Schule widersprüchlich sein können. 

Der Bericht enthält außerdem systemweite Empfehlungen zur Unterstützung und zum Schutz von Kindern, die KI-Chatbots nutzen, darunter: 

• Branche Wir verfolgen einen „Safety-by-Design“-Ansatz, um altersgerechte KI-Chatbots zu erstellen, die die Bedürfnisse von Kindern berücksichtigen und über integrierte Kindersicherungen, vertrauenswürdige Wegweiser und Funktionen zur Medienkompetenz verfügen. 
• Behörden Bereitstellung klarer Richtlinien dazu, wie KI-Chatbots unter den Online Safety Act fallen, Vorschrift einer wirksamen Altersgarantie für Anbieter von KI-Chatbots, die nicht für Kinder entwickelt wurden, und Gewährleistung, dass die Regulierung mit der raschen Entwicklung der KI-Technologien Schritt hält. 
• Staatlich geförderte Schulen KI und Medienkompetenz in allen Schlüsselphasen zu verankern, einschließlich der Schulung von Lehrern und der Bereitstellung klarer Leitlinien für den angemessenen Einsatz von KI für Schulen, Eltern und Kinder.  
• Eltern und Betreuer Sie werden dabei unterstützt, den Einsatz von KI durch ihr Kind anzuleiten und Gespräche darüber zu führen, was KI-Chatbots sind, wie sie funktionieren und wann sie eingesetzt werden sollten, einschließlich der Frage, wann sie Unterstützung aus der realen Welt suchen sollten. 
• Politik, Forschung und Industrie die Stimme der Kinder in den Mittelpunkt der Entwicklung, Regulierung und Steuerung von KI-Chatbots zu stellen und in langfristige Forschung zu investieren, die sich mit der Frage beschäftigt, wie emotional reagierende KI die Kindheit prägen kann.  

Rachel Huggins, Co-CEO von Internet Matters, sagte: 

KI-Chatbots werden immer mehr zum Teil der Kindheit; ihre Nutzung hat in den letzten zwei Jahren dramatisch zugenommen. Doch die meisten Kinder, Eltern und Schulen agieren blind und verfügen nicht über die nötigen Informationen oder Schutzmaßnahmen, um diese technologische Revolution sicher zu meistern.   

Obwohl KI eindeutig Vorteile bietet, zeigt unsere Forschung, wie Chatbots die Sichtweise von Kindern auf Freundschaft verändern. Wir sind sehr schnell an einem Punkt angelangt, an dem Kinder, insbesondere gefährdete Kinder, KI-Chatbots als echte Menschen wahrnehmen und sie daher um emotionale und einfühlsame Ratschläge bitten. Beunruhigend ist auch, dass sie die Aussagen ihrer neuen „Freunde“ oft nicht hinterfragen.   

„Wir müssen diese Frühwarnzeichen beachten und koordinierte Maßnahmen ergreifen, um sicherzustellen, dass Kinder das Potenzial von KI-Chatbots sicher und positiv erkunden und das offensichtliche Schadenspotenzial vermeiden können.   

Millionen von Kindern in Großbritannien nutzen KI-Chatbots auf Plattformen, die nicht für sie konzipiert sind, ohne ausreichende Sicherheitsvorkehrungen, Aufklärung oder Aufsicht. Eltern, Betreuer und Pädagogen benötigen Unterstützung bei der KI-Nutzung ihrer Kinder. Die Technologiebranche muss bei der Entwicklung von KI-Chatbots einen „Safety by Design“-Ansatz verfolgen, während die Regierung sicherstellen sollte, dass unsere Online-Sicherheitsgesetze robust genug sind, um den Herausforderungen gerecht zu werden, die diese neue Technologie für das Leben von Kindern mit sich bringt. 

Derek Ray-Hill, Interims-CEO der Internet Watch Foundation, sagte:  

„Dieser Bericht wirft einige grundlegende Fragen zur Regulierung und Überwachung dieser KI-Chatbots auf. 

 
Dass Kinder über KI-Chatbots auf explizite oder altersunangemessene Inhalte stoßen, erhöht das Gefahrenpotenzial in einem Umfeld, das, wie unsere Erkenntnisse zeigen, für junge Nutzer bereits eine Herausforderung darstellt. Besonders beunruhigend sind Berichte über mögliches Grooming über diese Technologie. 

 
Kinder verdienen ein sicheres Internet, in dem sie spielen, Kontakte knüpfen und lernen können, ohne Schaden zu nehmen. Regierung und Technologieunternehmen müssen dringend Maßnahmen ergreifen, um KI-Chatbots durch Sicherheitskonzepte zu schützen, bevor sie verfügbar gemacht werden.