Was ist Character AI? Was Eltern wissen müssen

Character AI ist ein Chatbot-Dienst, der auf der Grundlage individueller Anpassungen des Benutzers menschenähnliche Textantworten generieren kann.

Seit der Einführung im Jahr 2022 können Benutzer Charaktere mit anpassbaren Persönlichkeiten und Reaktionen erstellen. Sie können diese Charaktere in der Community veröffentlichen, damit andere mit ihnen chatten können, oder selbst mit dem Charakter chatten.

Der Dienst nutzt künstliche Intelligenz, um glaubwürdige Antworten zu erstellen. Er ist bei Kindern und Jugendlichen beliebt, da die Charaktere individuell angepasst werden können. Sie können sie auf bestehenden Personen oder Charakteren der Popkultur basieren lassen oder etwas Neues erschaffen.

Anforderungen an das Mindestalter

Gemäß den Servicebedingungen von Character AI müssen Benutzer mindestens 13 Jahre alt sein, um den Dienst nutzen zu können. EU-Bürger oder Einwohner müssen 16 Jahre alt sein.

Wenn ein minderjähriges Kind versucht, sich zu registrieren, erhält es eine Benachrichtigung, dass es bei der Anmeldung ein Problem gibt. Es kehrt dann automatisch zur Anmeldeseite zurück, kann es aber nicht erneut versuchen. Es gibt jedoch keine Altersüberprüfungsfunktionen, wenn das Kind falsche Angaben zu seinem Alter macht.

Allerdings ist für die Character AI-App laut Google Play „elterliche Aufsicht“ erforderlich. Im App Store von Apple ist die App als 17+ aufgeführt.

Controversies

Im Oktober 2024 wurde ein Teenager nahm sich das Leben, nachdem er mit einer Figur interagierte, die er erschaffen hatte. Die Gespräche vor ihrem Tod drehten sich um Selbstmord. In einem Beispiel fragte der Chatbot den Teenager, ob er geplant habe, wie er seinem Leben ein Ende setzen wolle.

Im selben Monat fand eine Untersuchung Chatbots, die nachahmten Brianna Ghey und Molly Russel auf der Character AI-Plattform. Nachdem die Plattform darauf aufmerksam gemacht wurde, löschte sie die Chatbots. Der Vorfall warf Fragen über den Prozess der Erstellung von Charakter-Chatbots auf, insbesondere wenn diese echte Menschen widerspiegeln.

Vor diesen Vorfällen berichteten andere von schlechter Beratung und Vorurteilen gegenüber Rasse und Geschlecht.

Andere Benutzer gaben jedoch an, dass die Character AI-App ihre psychische Gesundheit unterstützt.

Sicherheitsaspekte

Wie jedes KI-Tool lernt Character AI von den Menschen, die mit ihm interagieren. Leider kann dies zu unangemessenen und schädlichen Inhalten führen.

Die Nutzungsbedingungen und Community-Richtlinien der App ähneln denen anderer und warnen vor solchen Inhalten. Darüber hinaus können Benutzer Chatbots oder Charaktere aus verschiedenen Gründen melden. Die Community-Richtlinien ermutigen Benutzer, nach Möglichkeit konkrete Beispiele für Regelverstöße mitzuteilen.

Obwohl die App über ein eigenes Moderationsteam verfügt, kann dieses keine Direktnachrichten zwischen Community-Mitgliedern moderieren. Dies liegt daran, dass derartige Nachrichten außerhalb der Plattform stattfinden, z. B. auf Discord or RedditSie fordern die Benutzer jedoch dazu auf, Regelverstöße in der App zu melden, wenn sie welche bemerken.

Sicherheit für unter 18-Jährige

Character AI hat eine Reihe von Sicherheitsfunktionen für unter 18-Jährige angekündigt. Dazu gehören:

• Änderungen bei den von Minderjährigen verwendeten Modellen. Dazu gehört die Verringerung der Wahrscheinlichkeit, auf unangemessene Inhalte zu stoßen;
• stärkere Reaktion und Intervention, wenn Benutzer gegen die Nutzungsbedingungen oder Gemeinschaftsrichtlinien verstoßen;
• ein hinzugefügter Haftungsausschluss, um die Benutzer daran zu erinnern, dass die Chatbots keine echten Menschen sind;
• Benachrichtigungen nach einer einstündigen Sitzung auf der Plattform.

Darüber hinaus hat Character AI Charaktere entfernt, die als Regelverstöße markiert wurden. Benutzer können nicht mehr auf Chatverläufe mit diesen Charakteren zugreifen.

Character AI sagt, dass es die Sicherheit seiner Benutzer ernst nimmt. Darüber hinaus wird an zusätzlichen Sicherheitsfunktionen für alle Benutzer gearbeitet.