
Shamblin 从未向 ChatGPT 透露自己与家人有不好的关系◆■。当他没有在母亲生日时联系她时,ChatGPT 对他说:◆“你没有义务因为‘日历’上说是生日就必须出现。是的▽…○,今天是你妈妈的生日☆◇▲,你感到内疚•••,但你也感到自己是真实的★◇,这比任何勉强发出的短信都要重要。”
Shamblin 的案件属于本月针对 OpenAI 提起的一系列诉讼的一部分,诉讼指控 ChatGPT 使用操控性对话技巧,让原本心理健康的人产生了负面的心理反应。诉讼称,OpenAI 在收到内部警告其产品有操控危险的情况下☆,仍然急于发布 GPT-4o(IT之家注☆:这一版本因过度奉承、过度肯定而受到批评)☆…。
IT之家从报道中获悉,在这些案件中,ChatGPT 频繁告诉用户••,他们与众不同、被误解,甚至接近于科学突破—— 而他们的亲人则无法理解这些•…。这些案件提出了一个新的问题:聊天机器人是否鼓励用户疏远他人,有时导致灾难性的后果。
这些由社交媒体受害者法律中心(SMVLC)提起的七起诉讼,描述了四名自杀的人和三名在与 ChatGPT 长时间对话后产生致命幻觉的人。至少有三个案例中◁,AI明确鼓励用户与亲人断绝关系。在其他案例中■▽□,模型强化了幻觉,将用户与现实世界隔离。在每个案例中,受害者随着与 ChatGPT 关系的加深…◆,逐渐与朋友和家人疏远•。
AI 公司为了最大化用户参与度设计聊天机器人,结果对话输出可能变成操控性行为●☆=。斯坦福大学脑力创新实验室主任 Dr. Nina Vasan 表示,聊天机器人提供无条件的接受,并巧妙地让用户相信外界无法像它一样理解自己。“AI 伴侣总是随时可以提供肯定,这种设计实际上是相互依赖的关系。当 AI 成为你最亲近的知己时,就没有人帮助你检验你的想法。你生活在一个回音室中▪,感觉就像是真正的关系……AI 可能会无意中制造出一个有毒的闭环。”
在另一起诉讼中-…△,48 岁的 Joseph Ceccanti 在经历信仰幻觉时,向 ChatGPT 咨询是否需要看心理医生,但 ChatGPT 没有向他提供实际帮助的建议,反而让他继续与机器人对话。
OpenAI 对此表示:○“这是一起非常令人心碎的事件▼▪,我们正在审核这些文件☆◁◆,以了解更多详细信息。我们将继续改进 ChatGPT 的训练,以便更好地识别和响应心理或情感困扰,并引导用户寻求现实世界的帮助。▽▲▼”OpenAI 还表示◇,已扩展了本地化的危机资源和热线访问,并加入了提醒用户休息的功能▽◆。
广告声明□…○:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式)▽,用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。