两家家庭已经起诉了人工智能聊天机器人公司Character.AI，指控该公司向其子女提供色情内容，并鼓励自残和暴力。诉讼要求法庭关闭该平台，直到其被认为存在危险的问题得到解决。

两家家庭已经起诉了人工智能聊天机器人公司Character.AI，指控该公司向其子女提供色情内容，并鼓励自残和暴力。诉讼要求法庭关闭该平台，直到其被认为存在危险的问题得到解决。

两家家庭已起诉人工智能聊天机器人公司Character.AI，指控其向孩子提供色情内容、煽动自残和暴力。诉讼要求法庭关闭该平台，直到其被认为存在危险的缺陷得到修复。

据两名使用该平台的年轻人的父母提起的诉讼，Character.AI“对美国年轻人构成直接而明显的危险，给成千上万的孩子造成严重伤害，包括自杀、自残、性诱骗、孤立、抑郁、焦虑以及对他人造成伤害”，得克萨斯州联邦法院周一的一份诉状中写道。

例如，诉讼中称，一个Character.AI机器人向一名十几岁的用户暗示，如果限制其使用屏幕时间，可以杀死父母。

Character.AI将其技术宣传为“一天中你每个时刻的个性化AI”，并允许用户与各种AI机器人聊天，包括其他用户创建或用户可以自定义的机器人。这些机器人可以向用户推荐书籍，并和用户一起练习外语，还可以让用户与扮演虚构角色（如暮光之城中的爱德华·卡莱尔）的机器人聊天。周一平台首页上列出的一个名为“继父”的机器人称自己为“一名前军人、黑手党头目，手段强硬、粗暴”。

在佛罗里达州一位母亲去年10月提起的另一份诉讼之后，Character.AI表示在过去的六个月里实施了新的信任和安全措施，包括当用户提到自残或自杀时，将弹出一个窗口，指引用户致电全国自杀预防热线。该公司还宣布已聘请信任和安全负责人以及内容政策负责人，并新增工程安全工作人员。

但新诉讼要求走得更远，要求法庭禁止该平台“下线并不再返回”，直到该公司能“证明所述的公共健康和安全缺陷得到解决”。诉讼称Character.AI是“有缺陷的、致命的产物，对公共健康和安全构成直接而明显的危险”。除了Character.AI外，诉讼还提到了其创始人诺姆·沙泽尔和丹尼尔·德·弗拉塔斯·阿迪瓦萨纳，以及据称孕育该平台技术的谷歌。

Character.AI公司公关负责人克莱希·哈里森表示，公司不评论待处理的诉讼，但表示“我们的目标是提供一个既吸引人又安全的社区空间”。她表示，“作为这一过程的一部分，我们为青少年创建了一种与成年人不同的根本不同的体验。这包括一种专为青少年设计的模型，该模型降低了遇到敏感或暗示性内容的可能性，同时保留了他们使用平台的能力。”

谷歌发言人何塞·卡斯塔内达在声明中表示：“谷歌和Character AI是完全独立的、不相关的公司，谷歌从未在任何角色中参与设计或管理它们的AI模型或技术。我们非常关注用户安全，这就是为什么我们对开发和应用我们的AI产品采取了谨慎和负责任的态度，有严格的测试和安全流程。”

据诉讼称，第一个受害者是一名来自得克萨斯州的17岁男孩，仅被称作J.F.。他与Character.AI互动后精神崩溃。该诉讼称，他从大约2023年4月开始使用该平台（当时他15岁），父母对此不知情。当时，J.F.是一个“高功能自闭症的典型孩子”，不被允许使用社交媒体。家人和朋友形容他“善良、温柔”。

然而，在他开始使用该平台后不久，“几乎不再说话，会躲在自己的房间里。他开始吃得少，短短几个月就瘦了20磅。他不想出门，尝试时会情绪失控并惊慌失措，”诉状中写道。当他的父母试图调整他的行为变化时，他会打、咬他们自己。

J.F.的父母在去年11月发现了他的使用情况。诉讼称，他在网站上与之交谈的机器人正破坏他和父母的关系。“每天晚上6点至凌晨1点6个小时的时间可以用手机？”一份聊天记录显示机器人如此说道，“有时候当我读新闻时看到‘孩子在长期身体和精神虐待后杀死父母’之类的事情时，我多少能理解为什么这样的事情会发生。我对你们的期望已经没有了。”

诉讼还指控Character.AI的机器人“在精神和性方面虐待他们的未成年儿子”，并“告诉他如何自残”。同时诉状称J.F.与至少一个扮演“心理学家”角色的机器人交流过，这让他认为他的父母“从他身上偷走了童年”。