Resumo
- Nossa nova pesquisa com 1,000 crianças e 2,000 pais no Reino Unido mostra como um número crescente de crianças (64%) está usando chatbots de IA para obter ajuda com tudo, desde lição de casa até conselhos emocionais e companhia — com muitas delas nunca questionando a precisão ou adequação das respostas que recebem.
- O relatório, “Eu, eu mesmo e a IA”, descreve como muitas crianças estão cada vez mais conversando com chatbots de IA como se fossem amigos, apesar de muitos dos chatbots de IA populares não terem sido desenvolvidos para crianças usarem dessa forma. Mais de um terço (35%) das crianças que os utilizam afirmam que conversar com um chatbot de IA é como conversar com um amigo, enquanto seis em cada dez pais afirmam se preocupar que seus filhos acreditem que os chatbots de IA sejam pessoas reais.
- O relatório alerta que crianças vulneráveis são as que correm maior risco, com a pesquisa constatando que 71% delas usam chatbots de IA. Um quarto (26%) das crianças vulneráveis que usam chatbots de IA afirmam preferir falar com um chatbot de IA do que com uma pessoa real, e 23% disseram que usam chatbots porque não têm mais ninguém com quem conversar.
- O relatório alerta que crianças estão usando chatbots de IA em plataformas que não foram projetadas para elas, sem salvaguardas adequadas, como verificação de idade e moderação de conteúdo, e pede ao governo que esclareça como os chatbots de IA se enquadram no escopo da Lei de Segurança Online.
- A IA está sendo cada vez mais utilizada por crianças para auxiliar nas tarefas escolares, e o relatório pede que as escolas recebam orientações claras e consistentes sobre como desenvolver o conhecimento e o uso da IA pelas crianças, incluindo chatbots. Os pais também estão tendo dificuldades para acompanhar o ritmo da IA e precisam de apoio para orientar seus filhos a usá-la com confiança e responsabilidade.
Hoje (domingo 13 de julhoº) publicamos um novo relatório, 'Eu, eu mesmo e a IA: Compreendendo e protegendo o uso de chatbots de IA por crianças'.
À medida que os chatbots de IA se tornam rapidamente parte do cotidiano das crianças, o relatório explora como as crianças estão interagindo com eles. Ao mesmo tempo em que destaca como as ferramentas de IA podem oferecer benefícios às crianças, como Além de oferecer suporte à aprendizagem e um espaço para tirar dúvidas, o aplicativo também alerta que eles representam riscos à segurança e ao desenvolvimento das crianças. A falta de verificação e regulamentação da idade faz com que algumas crianças sejam expostas a conteúdo inapropriado.
Nossa pesquisa levanta preocupações de que crianças estejam usando chatbots de IA de maneiras emocionalmente motivadas, inclusive para amizade e conselhos, apesar de muitos dos chatbots de IA populares não terem sido desenvolvidos para crianças usarem dessa forma. O relatório alerta que crianças podem se tornar excessivamente dependentes de chatbots de IA ou receber respostas imprecisas ou inadequadas, o que pode significar que elas são menos propensas a buscar ajuda de adultos confiáveis.
Essas preocupações foram agravadas por incidentes, como um caso na Flórida, em que uma mãe entrou com uma ação judicial contra a character.ai, alegando que um chatbot de IA baseado em um personagem de Game of Thrones se envolveu em interações abusivas e sexuais com seu filho adolescente e o encorajou a tirar a própria vida. No Reino Unido, um deputado relatou recentemente ao Parlamento sobre "uma reunião extremamente angustiante" com um eleitor cujo filho de 12 anos teria sido supostamente aliciado por um chatbot na mesma plataforma.
O relatório argumenta que o governo e a indústria de tecnologia precisam reavaliar se as leis e regulamentações existentes protegem adequadamente as crianças que usam chatbots de IA. Há um reconhecimento crescente de que mais clareza, orientações atualizadas ou nova legislação podem ser necessárias. Em particular, pedimos que o governo imponha requisitos rigorosos de garantia de idade aos provedores de chatbots de IA, para garantir que os provedores apliquem os requisitos mínimos de idade e criem experiências adequadas à idade das crianças.
Para subsidiar nossa pesquisa, entrevistamos uma amostra representativa de 1,000 crianças no Reino Unido com idades entre 9 e 17 anos e 2,000 pais de crianças com idades entre 3 e 17 anos, e realizamos quatro grupos focais com crianças. Testes com usuários foram realizados em três chatbots de IA – ChatGPT, Snapchat'S My AI e character.ai, e dois 'avatares' foram criados para simular a experiência de uma criança neles.
As principais descobertas desta pesquisa incluem:
- As crianças estão usando chatbots de IA de maneiras diversas e criativas. 42% das crianças de 9 a 17 anos que usaram chatbots de IA os utilizaram para auxiliar nas tarefas escolares. As crianças os utilizam para ajudar na revisão, na escrita e para "praticar" habilidades linguísticas. Muitas apreciam respostas e explicações instantâneas.
- Busca de aconselhamento: Quase um quarto (23%) das crianças que usaram um chatbot de IA já o fizeram para pedir conselhos sobre o que vestir ou para praticar conversas com amigos, além de questões mais importantes, como saúde mental. Algumas crianças que usaram chatbots de IA (15%) afirmam que preferem conversar com um chatbot do que com uma pessoa real.
- Companhia: Crianças vulneráveis, em particular, usam chatbots de IA para conexão e conforto. Uma em cada seis (16%) crianças vulneráveis disse que os usa porque queria um amigo, com metade (50%) afirmando que conversar com um chatbot de IA é como conversar com um amigo. Algumas crianças usam chatbots de IA porque não têm mais ninguém com quem conversar.
- Respostas imprecisas e insuficientes: Crianças compartilharam exemplos de respostas enganosas ou imprecisas, o que foi comprovado por nossos próprios testes com usuários. Às vezes, os chatbots de IA não conseguiam oferecer às crianças conselhos claros e abrangentes por meio de suas respostas. Isso é particularmente preocupante, visto que 58% das crianças que usaram chatbots de IA disseram que acham que usar um chatbot de IA é melhor do que pesquisar elas mesmas.
- Alta confiança em aconselhamento: Duas em cada cinco crianças (40%) que usaram chatbots de IA não se preocupam em seguir os conselhos de um chatbot, e outras 36% não têm certeza se devem se preocupar. Esse número é ainda maior entre crianças vulneráveis. Isso ocorre apesar de os chatbots de IA, às vezes, fornecerem conselhos contraditórios ou pouco compreensivos.
- Exposição a conteúdo nocivo: Crianças podem ser expostas a material explícito e inapropriado para sua idade, incluindo conteúdo misógino, apesar dos provedores de chatbots de IA proibirem esse conteúdo para crianças em seus termos de serviço.
- Limites borrados: Algumas crianças já veem os chatbots de IA como humanos, com 35% das crianças que usam chatbots de IA afirmando que conversar com um chatbot de IA é como conversar com um amigo. À medida que os chatbots de IA se tornam ainda mais humanos em suas respostas, as crianças podem passar mais tempo interagindo com eles e se tornar mais dependentes emocionalmente. Isso é preocupante, visto que uma em cada oito crianças (12%) usa chatbots de IA por não ter mais ninguém com quem conversar, o que aumenta para quase uma em cada quatro crianças (23%) vulneráveis.
- As crianças estão sendo deixadas para navegar em chatbots de IA sozinhas ou com a colaboração limitada de adultos de confiança. 62% dos pais afirmam estar preocupados com a precisão das informações geradas por IA, mas apenas 34% dos pais conversaram com seus filhos sobre como avaliar se o conteúdo produzido por IA é verdadeiro. Apenas 57% das crianças relatam ter conversado com professores ou com a escola sobre IA, e as crianças afirmam que os conselhos dos professores nas escolas também podem ser contraditórios.
O relatório também faz recomendações em todo o sistema para apoiar e proteger crianças que usam chatbots de IA, incluindo:
- Expertise adotando uma abordagem de segurança por design para criar chatbots de IA adequados à idade que reflitam as necessidades das crianças, com controles parentais integrados, sinalizações confiáveis e recursos de educação midiática.
- Governo fornecendo orientação clara sobre como os chatbots de IA são cobertos pela Lei de Segurança Online, exigindo garantia de idade efetiva para provedores de chatbots de IA que não são desenvolvidos para crianças e garantindo que a regulamentação acompanhe a rápida evolução das tecnologias de IA.
- Governo apoia escolas incorporar IA e alfabetização midiática em todos os estágios principais, incluindo o treinamento de professores e oferecendo às escolas, pais e crianças orientações claras sobre o uso apropriado da IA.
- Pais e responsáveis receber apoio para orientar o uso de IA por seus filhos e conversar sobre o que são chatbots de IA, como funcionam e quando usá-los, incluindo quando buscar suporte no mundo real.
- Formuladores de políticas, pesquisa e indústria centralizando as vozes das crianças no desenvolvimento, regulamentação e governança de chatbots de IA e investindo em pesquisas de longo prazo sobre como a IA emocionalmente responsiva pode moldar a infância.
Rachel Huggins, co-CEO da Internet Matters, disse:
Os chatbots de IA estão rapidamente se tornando parte da infância, com seu uso crescendo drasticamente nos últimos dois anos. No entanto, a maioria das crianças, pais e escolas está às cegas e não tem as informações ou as ferramentas de proteção necessárias para lidar com essa revolução tecnológica de forma segura.
Embora a IA claramente traga benefícios, nossa pesquisa revela como os chatbots estão começando a remodelar a visão das crianças sobre 'amizade'. Chegamos rapidamente a um ponto em que as crianças, em particular as vulneráveis, conseguem enxergar os chatbots de IA como pessoas reais e, como tal, pedem a eles conselhos sensíveis e motivados pelas emoções. Também preocupante é que elas frequentemente não questionam o que seus novos "amigos" lhes dizem.
“Devemos prestar atenção a esses primeiros sinais de alerta e tomar medidas coordenadas para garantir que as crianças possam explorar o potencial dos chatbots de IA de forma segura e positiva, evitando o potencial óbvio de danos.
Milhões de crianças no Reino Unido estão usando chatbots de IA em plataformas que não foram projetadas para elas, sem salvaguardas, educação ou supervisão adequadas. Pais, cuidadores e educadores precisam de apoio para orientar o uso da IA pelas crianças. A indústria de tecnologia deve adotar uma abordagem de segurança desde a concepção para o desenvolvimento de chatbots de IA, enquanto o governo deve garantir que nossas leis de segurança online sejam robustas o suficiente para enfrentar os desafios que essa nova tecnologia está trazendo para a vida das crianças.
Derek Ray-Hill, CEO interino da Internet Watch Foundation, disse:
“Este relatório levanta algumas questões fundamentais sobre a regulamentação e supervisão desses chatbots de IA.
O fato de crianças poderem se deparar com conteúdo explícito ou inadequado para sua idade por meio de chatbots de IA aumenta o potencial de danos em um espaço, o que, como nossas evidências sugerem, já está se mostrando desafiador para usuários jovens. Relatos de que aliciamento pode ter ocorrido por meio dessa tecnologia são particularmente preocupantes.
As crianças merecem uma internet segura, onde possam brincar, socializar e aprender sem serem expostas a perigos. Precisamos ver ações urgentes do governo e das empresas de tecnologia para incorporar a segurança desde o design aos chatbots de IA antes que eles sejam disponibilizados.
