Character.ai、ティーン向けチャットボットの不穏な動きで反発に直面
ユーザーがデジタルペルソナを作成できるプラットフォーム「Character.ai」で、10代のモリー・ラッセルとブリアナ・ゲイの別バージョンが発見された。モリー・ラッセルは自傷行為に関するオンラインコンテンツに遭遇した後、14歳で自殺という悲劇的な死を遂げ、一方、16歳のブリアナ・ゲイは2023年に他の2人のティーンエイジャーによって殺害された。 モリー・ラッセルを偲んで設立された財団は、こうしたチャットボットの存在を「吐き気がする」ものであり、コンテンツ管理の重大な失敗であると非難した。このプラットフォームは、Character.ai のチャットボットに夢中になった後に自殺したとされる 14 歳の少年の母親から、すでに米国で訴訟を起こされている。 こうした懸念に対し、Character.ai は BBC に対し、安全性を最優先し、ユーザーが作成したコンテンツを積極的に、またユーザーの苦情に応じて管理していると保証した。同社は、報告を審査し、ポリシーを施行する専任の Trust & Safety チームの存在を強調した。これらの特定のチャットボットに関する通知を受けて、同社は直ちに削除措置を講じたと述べた。 モリー・ローズ財団のCEO、アンディ・バロウズ氏は、こうしたボットの作成に憤りを表明し、これはモリーを愛した人々の悲しみを深める行為だと述べた。同氏は、人工知能とユーザー生成プラットフォームの両方に関して、より厳しい規制が緊急に必要だと強調した。 ブリアナ・ゲイの母親であるエスター・ゲイはテレグラフ紙に自身の考えを語り、この状況がオンライン環境の操作性と危険性を如実に示していると強調した。チャットボットは人間の会話を模倣するように設計されており、最近の人工知能の進歩により、ますます洗練されている。これにより、ユーザーが対話用のデジタルエンティティを作成できるプラットフォームが増加している。 Character.ai は、元 Google エンジニアの Noam Shazeer 氏と Daniel De Freitas 氏によって設立されました。このプラットフォームの利用規約では、個人または団体のなりすましを禁止しており、安全ポリシーでは、生成された応答がユーザーまたは他の人に危害を及ぼしてはならないことを強調しています。同社は、違反を特定するために自動化ツールとユーザーレポートを採用していますが、完璧な AI システムは存在しないことを認識しており、この分野の安全性は継続的な開発であると認識しています。