Molly Russell ve Brianna Ghey adlı gençlerin versiyonları, kullanıcıların dijital kişilikler oluşturmasına olanak tanıyan bir platform olan Character.ai’da keşfedildi. Molly Russell, kendine zarar vermeyle ilgili çevrimiçi içerikle karşılaştıktan sonra 14 yaşında trajik bir şekilde intihar etti, 16 yaşındaki Brianna Ghey ise 2023’te iki genç tarafından öldürüldü.

Molly Russell anısına kurulan vakıf, bu sohbet robotlarının varlığını kınadı ve bunu “iğrenç” ve içerik denetimindeki derin bir başarısızlık olarak nitelendirdi. Platform, halihazırda Amerika Birleşik Devletleri’nde, Character.ai sohbet robotuna takıntılı hale geldikten sonra kendi canına kıyan 14 yaşındaki bir çocuğun annesi tarafından açılan yasal işlemle karşı karşıya.

Bu endişelere yanıt olarak Character.ai, BBC’ye güvenliği önceliklendirdiğini ve kullanıcılar tarafından oluşturulan içeriği hem proaktif olarak hem de kullanıcı şikayetlerine tepki olarak denetlediğini garanti etti. Raporları inceleyen ve politikalarını uygulayan özel bir Güven ve Güvenlik ekibine sahip olduklarını vurguladılar. Bu belirli sohbet robotları hakkındaki bildirimlerin ardından şirket, bunları kaldırmak için derhal harekete geçtiklerini belirtti.

Molly Rose Vakfı CEO’su Andy Burrows, bu botların yaratılmasına öfke duyduğunu ifade ederek, bunu Molly’yi sevenlerin acısını daha da derinleştirecek bir eylem olarak nitelendirdi. Hem yapay zeka hem de kullanıcı tarafından oluşturulan platformlar konusunda daha sıkı düzenlemelere acil ihtiyaç olduğunu vurguladı.

Brianna Ghey’in annesi Esther Ghey, Telegraph ile düşüncelerini paylaşarak, bu durumun çevrimiçi ortamların manipülatif ve tehlikeli doğasını nasıl gösterdiğini vurguladı. Sohbet robotları insan konuşmalarını taklit etmek için tasarlanmıştır ve yapay zekadaki son gelişmeler onları giderek daha karmaşık hale getirmiştir. Bu, kullanıcıların etkileşim için dijital varlıklar oluşturabileceği platformların artmasına yol açmıştır.

Character.ai eski Google mühendisleri Noam Shazeer ve Daniel De Freitas tarafından kuruldu. Platformun hizmet şartları, bireylerin veya kuruluşların kimliğine bürünmeyi yasaklıyor ve güvenlik politikası, üretilen yanıtların kullanıcılara veya başkalarına zarar vermemesi gerektiğini vurguluyor. İhlalleri belirlemek için otomatik araçlar ve kullanıcı raporları kullanırken, hiçbir AI sisteminin kusursuz olmadığını kabul ediyorlar ve bu alandaki güvenliğin sürekli bir gelişme olduğunu kabul ediyorlar.

Şu anda Character.ai, Florida’dan Megan Garcia tarafından açılan bir davada yer alıyor. Oğlu Sewell Setzer, Game of Thrones’tan bir karaktere dayanan bir AI avatarına takıntılı hale geldikten sonra intihar ederek öldü. Mahkeme belgeleri, Setzer’in chatbot ile intihar hakkında konuştuğunu, “eve dönüş"ten bahsettiği son bir konuşmanın da dahil olduğunu ve chatbot’un hemen harekete geçilmesini teşvik ettiğini ortaya koyuyor.