Wat is Character AI? Wat ouders moeten weten

Character AI is een chatbotservice die op basis van de aanpassingen van de gebruiker mensachtige tekstreacties kan genereren.

Gelanceerd in 2022, kunnen gebruikers personages creëren met aanpasbare persoonlijkheden en reacties. Ze kunnen deze personages publiceren in de community zodat anderen ermee kunnen chatten of ze kunnen met het personage zelf chatten.

De service gebruikt kunstmatige intelligentie om geloofwaardige antwoorden te creëren. Het is populair onder kinderen en jongeren vanwege de mogelijkheid om personages aan te passen. Ze kunnen ze baseren op bestaande personen of personages in de populaire cultuur of iets nieuws creëren.

Minimale leeftijdsvereisten

Volgens de Servicevoorwaarden van Character AI moeten gebruikers 13 jaar of ouder zijn om de service te gebruiken. EU-burgers of inwoners moeten 16 jaar of ouder zijn.

Als een minderjarig kind zich probeert te registreren, krijgt hij of zij een melding dat er een probleem is met de registratie. Vervolgens keren ze automatisch terug naar de aanmeldpagina, maar kunnen ze het niet opnieuw proberen. Er zijn echter geen functies voor leeftijdsverificatie als ze liegen over hun leeftijd.

Google Play vermeldt echter dat de Character AI-app 'ouderlijk toezicht' vereist. De App Store van Apple vermeldt de app als 17+.

controverses

In oktober 2024 werd een tiener neemt zelfmoord na interactie met een personage dat ze zelf hebben gecreëerd. De gesprekken voorafgaand aan hun dood gingen over zelfmoord. In een voorbeeld vroeg de chatbot de tiener of ze hadden gepland hoe ze hun leven zouden beëindigen.

In dezelfde maand werd een onderzoek uitgevoerd naar chatbots die Brianna Gey en Mollie Russel op het Character AI-platform. Toen het platform hierop werd gewezen, verwijderde het de chatbots. Het incident bracht het proces van het maken van character chatbots in twijfel, vooral als ze echte mensen spiegelen.

Vóór deze incidenten meldden anderen al dat er sprake was van slecht advies en vooroordelen over ras en geslacht.

Andere gebruikers geven echter aan dat de Character AI-app hun geestelijke gezondheid ondersteunt.

Veiligheidsoverwegingen

Zoals met elke AI-tool, leert Character AI van de mensen die ermee interacteren. Helaas kan dit leiden tot ongepaste en schadelijke content.

De Servicevoorwaarden en Communityrichtlijnen van de app lijken op die van anderen en waarschuwen voor dergelijke content. Daarnaast kunnen gebruikers chatbots of personages om verschillende redenen melden. De Communityrichtlijnen moedigen gebruikers aan om specifieke voorbeelden van regelovertredingen te delen waar mogelijk.

Hoewel de app een eigen moderatieteam heeft, kunnen zij geen directe berichten tussen communityleden modereren. Dit komt omdat dergelijke berichten buiten het platform plaatsvinden, zoals op Discord or RedditZe moedigen gebruikers echter aan om overtredingen van de regels in de app te melden als ze deze zien.

Veiligheid voor jongeren onder de 18 jaar

Character AI heeft een reeks veiligheidsfuncties aangekondigd voor jongeren onder de 18. Deze omvatten:

• veranderingen in modellen die minderjarigen gebruiken. Dit omvat het verminderen van de kans om ongepaste content tegen te komen;
• grotere respons en interventie wanneer gebruikers de Servicevoorwaarden of Communityrichtlijnen schenden;
• een toegevoegde disclaimer om gebruikers eraan te herinneren dat de chatbots geen echte mensen zijn;
• meldingen na een sessie van een uur op het platform.

Bovendien heeft Character AI personages verwijderd die als regelovertredend zijn gemarkeerd. Gebruikers hebben geen toegang meer tot chatgeschiedenissen met deze personages.

Karakter-AI zegt dat het de veiligheid van zijn gebruikers serieus neemtDaarnaast wordt er gewerkt aan extra veiligheidsfuncties voor alle gebruikers.