结语
- 我们对英国 1,000 名儿童和 2,000 名家长进行的新调查显示，越来越多的儿童（64%）正在使用人工智能聊天机器人来获得从家庭作业到情感建议和陪伴等各方面的帮助——其中许多儿童从未质疑过他们收到的回复的准确性或适当性。
- 那个报告， “我，我自己，和人工智能”描述了有多少孩子越来越多地与人工智能聊天机器人以朋友的身份交谈，尽管许多流行的人工智能聊天机器人并非专为儿童使用而设计。超过三分之一（35%）使用过这些机器人的儿童表示，与人工智能聊天机器人交谈就像与朋友交谈一样，而六成家长表示，他们担心孩子会误以为人工智能聊天机器人是真人。
- 报告警告称，弱势儿童面临的风险最大，调查发现71%的弱势儿童正在使用人工智能聊天机器人。四分之一（26%）使用人工智能聊天机器人的弱势儿童表示，他们宁愿与人工智能聊天机器人交谈，也不愿与真人交谈；23%的儿童表示，他们使用聊天机器人是因为他们没有其他人可以交谈。
- 报告警告称，儿童在并非为他们设计的平台上使用人工智能聊天机器人，且缺乏年龄验证和内容审核等充分的安全措施，并呼吁政府澄清人工智能聊天机器人如何受到《网络安全法》的约束。
- 儿童越来越多地使用人工智能来帮助完成学业，报告呼吁学校在培养儿童对人工智能（包括聊天机器人）的知识和使用方面提供清晰一致的指导。家长们也难以跟上人工智能的步伐，需要支持来引导他们的孩子自信而负责任地使用人工智能。
今天（13 月 XNUMX 日星期日日） 我们发布了一份新报告， “我，我自己和人工智能：理解和保护儿童使用人工智能聊天机器人”.
随着人工智能聊天机器人迅速成为儿童日常生活的一部分，该报告探讨了儿童如何与它们互动。报告强调了人工智能工具如何为儿童带来以下好处： 该网站不仅提供学习支持和提问空间，还警告称，这些网站对儿童的安全和发展构成风险。缺乏年龄验证和监管意味着一些儿童接触到不适当的内容。
我们的研究引发了人们的担忧：尽管许多流行的人工智能聊天机器人并非专为儿童设计，但儿童使用人工智能聊天机器人的方式却可能受到情感驱动，例如寻求友谊和建议。报告警告称，儿童可能会过度依赖人工智能聊天机器人，或收到不准确或不恰当的回复，这可能意味着他们不太可能向值得信赖的成年人寻求帮助。
这些担忧因一些事件而加剧，例如佛罗里达州的一起案件。一位母亲起诉character.ai，声称一个基于《权力的游戏》角色的人工智能聊天机器人对她十几岁的儿子进行了虐待和性行为，并鼓励他自杀。在英国，一位议员最近在议会中讲述了与一位选民的“一次极其令人痛心的会面”，这位选民的12岁儿子据称在同一平台上被一个聊天机器人诱骗。
报告认为，政府和科技行业需要重新审视现有法律法规是否充分保护使用人工智能聊天机器人的儿童。越来越多的人认识到，可能需要进一步明确规定、更新指南或制定新的立法。我们尤其呼吁政府对人工智能聊天机器人提供商施加严格的年龄保证要求，确保提供商执行最低年龄要求，并为儿童创造适合其年龄的体验。
为了开展研究，我们在英国对1,000名9-17岁儿童和2,000名3-17岁儿童的家长进行了代表性调查，并与孩子们进行了四次焦点小组讨论。用户测试是在三个AI聊天机器人上进行的—— ChatGPT, Snapchat“ My AI 和 character.ai，并创建了两个“化身”来模拟孩子在这些方面的体验。
这项研究的主要发现包括：
- 孩子们正在以多种多样且富有想象力的方式使用人工智能聊天机器人。 42% 的 9-17 岁儿童使用过人工智能聊天机器人，并利用它们来辅助学习。孩子们使用它们来帮助复习、写作和“练习”语言技能。许多孩子很欣赏即时的答案和解释。
- 寻求建议： 近四分之一（23%）使用过人工智能聊天机器人的儿童已经用它们来寻求建议，从穿衣建议、与朋友练习对话，到心理健康等更重要的话题。一些使用过人工智能聊天机器人的儿童（15%）表示，他们更愿意与聊天机器人交谈，而不是与真人交谈。
- 友谊： 弱势儿童尤其会使用人工智能聊天机器人来寻求联系和安慰。六分之一（16%）的弱势儿童表示，他们使用聊天机器人是因为他们想要一个朋友；一半（50%）的儿童表示，与人工智能聊天机器人交谈就像与朋友交谈一样。有些孩子使用人工智能聊天机器人是因为他们没有其他人可以交谈。
- 不准确和不充分的回应： 孩子们分享了一些误导性或不准确回答的例子，这些例子也得到了我们用户测试的支持。人工智能聊天机器人有时无法通过其回复为孩子们提供清晰全面的建议。鉴于58%使用过人工智能聊天机器人的儿童表示，他们认为使用人工智能聊天机器人比自己搜索更好，这一点尤其令人担忧。
- 高度信任建议： 五分之二（40%）使用过人工智能聊天机器人的儿童对听从机器人的建议毫不担心，另有 36% 的儿童不确定自己是否应该担心。对于弱势儿童来说，这一比例甚至更高。尽管人工智能聊天机器人有时会提供自相矛盾或不支持的建议。
- 接触有害内容： 尽管人工智能聊天机器人提供商在其服务条款中禁止儿童用户接触此类内容，但儿童仍可能接触到露骨且不适合其年龄的材料，包括厌恶女性的内容。
- 模糊的界限： 一些孩子已经将人工智能聊天机器人视为与人类相似的对象。35% 使用过人工智能聊天机器人的孩子表示，与人工智能聊天机器人交谈就像与朋友交谈一样。随着人工智能聊天机器人的回复越来越像人类，孩子们可能会花更多时间与人工智能聊天机器人互动，并在情感上变得更加依赖。考虑到八分之一（12%）的儿童使用人工智能聊天机器人是因为他们没有其他人可以交谈，这一比例上升到近四分之一（23%）的弱势儿童，这令人担忧。
- 孩子们只能自己操作人工智能聊天机器人，或者只能从可信赖的成年人那里获得有限的指导。 62%的家长表示他们担心人工智能生成信息的准确性，但只有34%的家长与孩子讨论过如何判断人工智能生成内容的真实性。只有57%的儿童表示曾与老师或学校讨论过人工智能，而且孩子们表示，学校老师给出的建议也可能相互矛盾。
该报告还提出了全系统建议，以支持和保护使用人工智能聊天机器人的儿童，包括：
- 行业 采用安全设计方法来创建适合年龄的人工智能聊天机器人，以反映儿童的需求，并具有内置的家长控制、可信路标和媒体素养功能。
- 政府 为《网络安全法》如何保护人工智能聊天机器人提供明确指导，要求对非为儿童设计的人工智能聊天机器人提供商进行有效的年龄保证，并确保监管跟上快速发展的人工智能技术的步伐。
- 政府支持学校 在所有关键阶段嵌入人工智能和媒体素养，包括培训教师以及为学校、家长和孩子提供有关适当使用人工智能的明确指导。
- 父母与照顾者 得到支持以指导他们的孩子使用人工智能，并讨论什么是人工智能聊天机器人、它们如何工作以及何时使用它们，包括何时寻求现实世界的支持。
- 政策制定者、研究和产业 将儿童的声音置于人工智能聊天机器人的开发、监管和治理的中心，并投资于情感响应人工智能如何塑造儿童的长期研究。
Internet Matters 联合首席执行官 Rachel Huggins 表示：
人工智能聊天机器人正迅速融入儿童生活，其使用量在过去两年中急剧增长。然而，大多数儿童、家长和学校都对此视而不见，缺乏安全应对这场技术革命所需的信息或防护工具。
虽然人工智能确实有其优势，但我们的研究也揭示了聊天机器人正在重塑儿童对“友谊”的看法。我们很快就发现，儿童，尤其是弱势儿童，已经能够将人工智能聊天机器人视为真人，并因此向它们寻求情感驱动且富有同情心的建议。同样令人担忧的是，他们往往对新“朋友”说的话毫不怀疑。
“我们必须注意这些早期预警信号，并采取协调行动，确保孩子们能够安全、积极地探索人工智能聊天机器人的潜力，并避免明显的潜在危害。
英国数百万儿童在并非为他们设计的平台上使用人工智能聊天机器人，缺乏足够的保障措施、教育或监督。家长、监护人和教育工作者需要支持，以指导儿童使用人工智能。科技行业必须采用安全设计方法来开发人工智能聊天机器人，同时政府应确保我们的网络安全法律足够健全，以应对这项新技术给儿童生活带来的挑战。
互联网观察基金会临时首席执行官 Derek Ray-Hill 表示:
“这份报告提出了一些有关这些人工智能聊天机器人的监管和监督的基本问题。
儿童可能通过人工智能聊天机器人接触到露骨或不合年龄的内容，这增加了该领域发生伤害的可能性，而我们的证据表明，这对年轻用户来说已经是一个挑战。有关可能通过这项技术进行性诱骗的报道尤其令人不安。
儿童应该享有安全的互联网，让他们可以玩耍、社交和学习，而不会受到伤害。我们需要看到政府和科技公司采取紧急行动，在人工智能聊天机器人投入使用之前，从设计上就考虑到安全性。
