Qu'est-ce que Character AI ? Ce que les parents doivent savoir

Character AI est un service de chatbot qui peut générer des réponses textuelles de type humain en fonction de la personnalisation d'un utilisateur.

Lancé en 2022, l'application permet aux utilisateurs de créer des personnages avec des personnalités et des réponses personnalisables. Ils peuvent publier ces personnages dans la communauté pour que d'autres puissent discuter avec eux ou discuter eux-mêmes avec le personnage.

Le service utilise l'intelligence artificielle pour créer des réponses crédibles. Il est populaire auprès des enfants et des jeunes en raison de la possibilité de personnaliser les personnages. Ils peuvent les baser sur des personnes ou des personnages existants de la culture populaire ou créer quelque chose de nouveau.

Âge minimum requis

Conformément aux conditions d'utilisation de Character AI, les utilisateurs doivent être âgés de 13 ans ou plus pour utiliser le service. Les citoyens ou résidents de l'UE doivent être âgés de 16 ans.

Si un mineur tente de s'inscrire, il reçoit une notification l'informant qu'il y a un problème avec son inscription. Il revient alors automatiquement à la page de connexion mais ne peut pas réessayer. Cependant, il n'existe aucune fonction de vérification de l'âge s'il ment sur son âge.

Cependant, Google Play indique que l'application Character AI nécessite une « surveillance parentale ». L'App Store d'Apple indique que l'application est réservée aux personnes de 17 ans et plus.

Controverses

En octobre 2024, un un adolescent s'est suicidé après avoir interagi avec un personnage qu'il a créé. Les conversations qui ont précédé leur mort portaient sur le suicide. Dans un exemple, le chatbot a demandé à l'adolescent s'il avait planifié la façon dont il mettrait fin à ses jours.

Au cours du même mois, une enquête a découvert des chatbots qui imitaient Brianna Ghey et Molly Russel sur la plateforme Character AI. Une fois alertée, la plateforme a supprimé les chatbots. L'incident a remis en question le processus de création de chatbots de personnages, en particulier lorsqu'ils reflètent de vraies personnes.

Avant ces incidents, d’autres avaient signalé de mauvais conseils et des préjugés contre la race et le sexe.

Cependant, d’autres utilisateurs ont attribué à l’application Character AI le mérite d’avoir soutenu leur santé mentale.

Considérations de sécurité

Comme tout outil d'IA, Character AI apprend des personnes qui interagissent avec lui. Malheureusement, cela peut conduire à des contenus inappropriés et préjudiciables.

Les conditions d'utilisation et les règles de la communauté de l'application sont similaires à celles des autres applications et mettent en garde contre ce type de contenu. De plus, les utilisateurs peuvent signaler les chatbots ou les personnages pour diverses raisons. Les règles de la communauté encouragent les utilisateurs à partager des exemples précis de violations des règles lorsque cela est possible.

Bien que l'application dispose de sa propre équipe de modération, elle ne peut pas modérer les messages directs entre les membres de la communauté. En effet, ces messages sont envoyés hors plateforme, par exemple sur Discorde or Reddit. Cependant, ils encouragent les utilisateurs à signaler les violations des règles dans l'application s'ils en constatent.

Sécurité pour les moins de 18 ans

Character AI a annoncé une série de fonctionnalités de sécurité pour les moins de 18 ans. Elles comprennent :

• des changements dans les modèles utilisés par les mineurs. Cela inclut la réduction des risques de tomber sur du contenu inapproprié ;
• une meilleure réponse et intervention lorsque les utilisateurs enfreignent les conditions d’utilisation des directives de la communauté ;
• un avertissement supplémentaire pour rappeler aux utilisateurs que les chatbots ne sont pas de vraies personnes ;
• notifications après une session d'une heure sur la plateforme.

De plus, Character AI a supprimé les personnages signalés comme enfreignant les règles. Les utilisateurs ne peuvent plus accéder aux historiques de chat impliquant ces personnages.

Character AI affirme qu'il prend la sécurité de ses utilisateurs au sérieuxDe plus, des efforts sont déployés pour mettre en place des fonctionnalités de sécurité supplémentaires pour tous les utilisateurs.