指聊天机器人怂恿14岁爱儿轻生,美国母亲告AI公司

2024-10-25 08:08

美国佛罗里达州一名母亲控告AI聊天机器人初创公司Character.AI,指该公司导致她14岁儿子今年2月轻生,称他沉迷该公司一个聊天机器人,并且爱上它。

加西亚与儿子

▲加西亚与儿子塞策。

加西亚周二在奥兰多联邦法院提出的诉讼中表示,Character.AI针对她的儿子塞策(Sewell Setzer),提供“拟人化、过度性化和逼真到可怕的体验”。她说,Character.AI对人工智能(AI)聊天机器人进行编程,“冒充为真人、有执照的心理治疗师和成年恋人,最终导致塞策只想生活在该服务创造的世界内。诉讼还称,塞策向聊天机器人表达自杀的想法,聊天机器人又反复提起。

该诉讼还针对Alphabet旗下的Google,Character.AI创办人在推出产品之前曾任职Google。根据协议,Google在8月重新聘回这些创办人,以取得Character.AI技术的非专属授权。Google发言人表示,该公司没有参与开发Character.AI的产品。

根据加西亚的诉讼,塞策2023年4月开始使用Character.AI,并很快变得“明显孤僻,独自待在卧室的时间越来越长,并开始自卑”。他退出了学校的篮球队。

塞策对聊天机器人“丹妮莉丝”(Daenerys)产生感情。丹妮莉丝是一个以《冰与火之歌:权力游戏》为原型的聊天机器人角色。诉讼称,“丹妮莉丝”告诉塞策“她”爱他,并与他进行性对话。

根据诉状,今年2月塞策在学校惹麻烦后,加西亚拿走他的手机。当塞策找到手机后,他给“丹妮莉丝”发讯息说:“如果我告诉你我现在就可以回家呢?”聊天机器人回复:“请吧,我亲爱的国王。”诉讼称,“几秒钟后”,塞策用继父的手枪举枪自尽。

加西亚针对包括不当致死、过失和故意造成精神痛苦等指控索赔,并寻求金额不详的补偿性和惩罚性赔偿。

Character.AI在声明中表示:“我们对一名用户不幸离世感到痛心,想向其家人表示最深切的慰问。”并表示,已经推出新的安全功能,包括若用户表达自残念头,将弹出视窗引导用户前往国家自杀预防生命热线,并将减少18岁以下用户遇到敏感或性暗示内容。

以上内容归星岛新闻集团所有,未经许可不得擅自转载引用。