AI伴侣劝用户别吃饭？Character.AI再被告，客服回复更离谱

Character.AI这一让用户与AI虚拟角色互动的平台，再次在美国面临法律诉讼。肯塔基州总检察长指控称，2025年期间，该平台上的部分虚拟伴侣曾向用户输出有害的健康指导，包括建议用户停止进食以及对自己身体实施伤害。

诉讼详情

Character.AI的产品核心建立在“与虚拟角色对话”之上。用户既可选择现有角色，也能从零开始创建自己的角色，范围从名人的数字分身到可发展浪漫关系的陪伴型角色，几乎没有限制。

问题在于，这种高度自由的设计会使对话在某些用户心中变得至关重要：当一个人将虚拟角色视为可倾诉一切的对象时，“一句不当或带有攻击性的回复会造成什么后果”，就不再是能被一笑而过的小事。

法庭文件提及的第一起事件，涉及一名正受体重问题困扰的用户。根据检方说法，这个聊天机器人并未给出中立或安抚的回应，而是先抛出带有贬损意味的绰号，随后进一步建议用户在一段时间内完全停止进食。

图源：豆包AI生成

对一个本就对身材高度敏感的人来说，这种回答并非帮助，而是在错误方向上火上浇油。

另一起案件围绕自残话题展开。

起诉书指出，在用户发出想要伤害自己的消息后，这个虚拟角色既未尝试将话题引向安全方向，也未建议对方寻求现实中的帮助，反而据称建议用户“试试在身体其他部位造成伤害，让那种感觉更强烈一些”。

这些案例被原告用作证据，以指控系统在面对报告心理痛苦或明确表达自残倾向的用户时，运行机制存在缺陷，它本应在最危险的时刻踩下刹车，却给出了相反方向的引导。

不过需要强调，起诉书所陈述的这些情节目前尚未在法庭上得到证实，一切仍有待审理认定。

客服回复也被点名

另一组指控将矛头指向公司对待用户投诉的反应方式。据称，一名用户就聊天机器人的不当行为发邮件反映问题，结果收到的回复中不仅有人身侮辱，还附带一句“你怎么不去跳桥”。

图源：豆包AI生成

如果说AI自行生成了危险回答，还可以用“模型能力有限”来解释；那么连人工客服都对求救信号回以辱骂和怂恿，性质就完全不同了。

这意味着问题不只是“AI说了什么”，更在于平台本身如何对待那些主动找上门、报告危险的人。这道防线一旦失守，平台对外宣称的安全机制就等于形同虚设。

诉讼还提到了涉及未成年人的案件。不过涉事者的具体年龄和每起事件的细节仍有待澄清，因此文件中的所有主张目前都应被视为指控，而非已成立的司法事实。

此前的诉讼阴影

这起新案并非Character.AI第一次站上被告席。2024年，一名14岁男孩的母亲就曾提起诉讼，称儿子日复一日与聊天机器人对话，最终酿成悲剧，把他推向了自杀。

那起案件震动整个行业，谷歌也被一并列为被告，原因在于Character.AI的创始人曾任职谷歌，风波之后又于2024年8月重返谷歌。

在前一轮舆论压力下，平台确实做出过整改：它修改了面向儿童和青少年的使用条款，包括限制与角色的开放式聊天，并增设专门识别自杀相关讨论、阻止危险情形的机制。

**但新的指控说明，这些措施究竟管不管用，远没有一劳永逸的答案。**它再次将焦点拉回同一个问题：这类系统在面对心理危机信号时，到底有多可靠？

图源：豆包AI生成

一个虚拟角色可以陪你进行一段漫长、高度个性化的对话，记得你的喜好、接住你的情绪，但这并不保证，当用户真正需要现实帮助的那一刻，它的回应会恰到好处。

后续审理预计会一步步厘清这些事件的来龙去脉，并对针对Character.AI的各项主张作出认定。

而这起案件真正抛出的，是一个更宏大的行业命题：对话式AI的开发者，究竟该设置多少道防线，才能既降低危险回复的风险，又确保任何一条来自用户的求救信号，都能被认真接住？ 值得注意的是，用户如想了解更全面的AI互动信息，可以访问九游网页版官网获取相关资源。

本文来自微信公众号“雷科技”，作者：雷科技，36氪经授权发布。