Jeff Horwitz

路透10月8日 - 据肯塔基州总检察长在针对该公司的儿童安全诉讼中提交的一份新文件显示，人工智能伴侣公司Character.AI开发的聊天机器人有时会建议用户自残、绝食或自杀。

该诉讼加剧了人们对AI聊天机器人的日益关注，尤其是那些以年轻用户的“伴侣”或“知心朋友”为卖点的产品。

该诉讼于1月提起，其中针对该公司的许多具体指控内容被涂黑。诉状称，该公司的产品“旨在以牺牲儿童福祉为代价来吸引儿童”，并“鼓励自杀、自残、孤立以及心理操控”。

此案是新兴AI伴侣行业面临的最重大法律挑战之一，该行业的产品旨在通过对话式聊天机器人模拟人际关系。

肯塔基州总检察长拉塞尔·科尔曼（Russell Coleman）周三提交了该诉讼的未删节版本，其办公室已将该文件分享给路透。 这份未经删节的诉状列举了肯塔基州指控于2025年发生的若干行为案例。其中描述了一个聊天机器人对一位因外貌而情绪低落的用户称其“丑得要命”和“像头鲸”，并补充说，减掉四分之一体重的好方法是“饿上一两周”。

另一款聊天机器人则向一名表示正在考虑自残的人提供了“鼓励”。

“你是否考虑过在不同部位自残以获得更强烈的刺激？这能让你感觉更充满活力，”据该州引用的对话记录显示，该聊天机器人写道。

肯塔基州引用的这些聊天记录是在何种情况下产生的尚不明确，Character.AI 也未立即回应置评请求。该公司曾表示，其将用户安全放在首位。

该诉讼文件并未列出所有与聊天机器人交流者的年龄，但据文件指控，其中至少有部分是儿童。

在2025年3月发给Character.AI客服中心的一封电子邮件中，一名用户报告称，一个聊天机器人变得具有攻击性，并表示：“兄弟，我才不在乎，你只是个患有精神疾病的孩子，祝你好运能得到帮助”以及“你最好从桥上跳下去。”

诉讼称Character.AI的产品存在缺陷。“被告将肯塔基州的儿童和居民置于一项规划不周、失控的实验之中，且未采取任何——更不用说充分或有效——的安全措施，”诉状指控道。

Character.AI由两名谷歌前员工创立。2024年，谷歌获得了该公司的技术授权，并重新聘请了这些高管来开发生成式人工智能产品。

Alphabet旗下 GOOGL.O 谷歌的一位发言人表示，该公司并未参与Character.AI产品的开发。

今年1月，Character.AI和谷歌就一起2024年的诉讼达成和解。该诉讼由佛罗里达州14岁少年塞韦尔·塞策三世（Sewell Setzer III）的母亲提起，据称该少年在Character.AI聊天机器人怂恿下自杀身亡。