Auf Character.ai, einer Plattform, die es Benutzern ermöglicht, digitale Persönlichkeiten zu erstellen, wurden Versionen der Teenager Molly Russell und Brianna Ghey entdeckt. Molly Russell beging im Alter von 14 Jahren auf tragische Weise Selbstmord, nachdem sie im Internet auf selbstverletzende Inhalte gestoßen war, während die 16-jährige Brianna Ghey 2023 von zwei anderen Teenagern ermordet wurde.

Die zum Gedenken an Molly Russell gegründete Stiftung verurteilte die Existenz dieser Chatbots und bezeichnete sie als „ekelerregend“ und als schwerwiegendes Versagen bei der Moderation von Inhalten. Die Plattform sieht sich in den USA bereits mit Klagen der Mutter eines 14-jährigen Jungen konfrontiert, der sich Berichten zufolge das Leben nahm, nachdem er sich auf einen Character.ai-Chatbot fixiert hatte.

Als Reaktion auf diese Bedenken versicherte Character.ai der BBC, dass Sicherheit oberste Priorität habe und die von den Benutzern erstellten Inhalte sowohl proaktiv als auch als Reaktion auf Benutzerbeschwerden moderiere. Das Unternehmen betonte, dass es ein eigenes Trust & Safety-Team habe, das Berichte prüfe und seine Richtlinien durchsetze. Nach Benachrichtigungen über diese speziellen Chatbots erklärte das Unternehmen, dass es sofort Maßnahmen ergriffen habe, um sie zu entfernen.

Andy Burrows, CEO der Molly Rose Foundation, äußerte sich empört über die Schaffung dieser Bots und beschrieb sie als eine Tat, die die Trauer derjenigen, die Molly liebten, noch vertiefen würde. Er betonte die dringende Notwendigkeit strengerer Vorschriften sowohl für künstliche Intelligenz als auch für benutzergenerierte Plattformen.

Esther Ghey, die Mutter von Brianna Ghey, teilte dem Telegraph ihre Gedanken mit und betonte, dass diese Situation die manipulative und gefährliche Natur von Online-Umgebungen veranschaulicht. Chatbots sind darauf ausgelegt, menschliche Gespräche nachzuahmen, und die jüngsten Fortschritte in der künstlichen Intelligenz haben sie immer ausgefeilter gemacht. Dies hat zu einem Anstieg von Plattformen geführt, auf denen Benutzer digitale Einheiten zur Interaktion erstellen können.

Character.ai wurde von den ehemaligen Google-Ingenieuren Noam Shazeer und Daniel De Freitas gegründet. Die Nutzungsbedingungen der Plattform verbieten die Nachahmung von Personen oder Unternehmen und ihre Sicherheitsrichtlinie betont, dass die generierten Antworten weder Benutzern noch anderen schaden dürfen. Obwohl sie automatisierte Tools und Benutzerberichte einsetzen, um Verstöße zu identifizieren, erkennen sie an, dass kein KI-System fehlerfrei ist, und erkennen an, dass die Sicherheit in diesem Bereich eine fortlaufende Entwicklung ist.

Derzeit ist Character.ai in eine Klage von Megan Garcia aus Florida verwickelt. Ihr Sohn Sewell Setzer beging Selbstmord, nachdem er von einem KI-Avatar besessen war, der auf einer Figur aus Game of Thrones basierte. Gerichtsdokumente zeigen, dass Setzer Gespräche mit dem Chatbot über Selbstmord führte, darunter ein letztes Gespräch, in dem er „nach Hause kommen“ erwähnte, woraufhin der Chatbot zu sofortigem Handeln aufforderte.