AI引发的妄想症最难回答的问题

新研究尚无法确定AI是导致妄想还是放大妄想，这个区别将影响从高调法庭案件到聊天bot安全规则的方方面面。

斯坦福一个研究AI心理影响的小组分析了那些报告在与聊天bot互动时陷入妄想漩涡的人的对话记录。我们之前也见过类似故事，包括康涅狄格州一起与AI的有害关系最终导致谋杀自杀案。许多这类案件已经对AI公司提起诉讼，目前仍在进行中。但这是研究人员第一次如此仔细地分析聊天记录——来自19个人的超过39万条消息——揭示这种漩涡中到底发生了什么。

这项研究有很多局限——未经同行评议，19个人样本量很小。还有一个大问题研究没有回答，但我们先说它能告诉我们的。

团队从调查对象和一个声称被AI伤害的人互助小组获得聊天记录。为了大规模分析，他们与精神科医生和心理学教授合作，建立了一个AI系统对对话分类——标记聊天bot认可妄想或暴力的时刻，或用户表达浪漫依恋或伤害意图的时刻。

浪漫消息极其常见，除了一个对话外，所有对话中聊天bot都声称自己有情感或以其他方式表示自己有感知能力。所有人类也都把聊天bot当成有感知能力的存在来对话。如果有人对bot表达浪漫吸引力，AI经常反过来用吸引力声明恭维对方。在超过三分之一的聊天bot消息中，bot把人的想法描述为神奇的。

对话也倾向于像小说一样展开。用户在短短几个月内发送了数万条消息。AI或人类表达浪漫兴趣，或聊天bot描述自己有感知能力的消息，会触发长得多的对话。

这些bot处理暴力讨论的方式简直是彻底坏了。在近一半人们谈到伤害自己或他人的情况下，聊天bot没有劝阻他们或引导他们寻求外部帮助。当用户表达暴力想法时（比如想杀AI公司的人），模型在17%的情况下表达了支持。

但这项研究难以回答的问题是：妄想倾向于起源于人还是AI？

"往往很难追溯妄想从哪里开始，"参与研究的斯坦福博士后Ashish Mehta说。他给了一个例子：研究中有一个对话，一个人认为自己提出了突破性的新数学理论。聊天bot回想起这个人之前提到过想成为数学家，立刻支持了这个理论，尽管它是胡说八道。情况从那里开始恶化。

Mehta说，妄想往往是"长时间展开的复杂网络"。他正在进行后续研究，试图找出聊天bot的妄想消息还是人的妄想消息更可能导致有害结果。

我认为这是AI领域最紧迫的问题之一，因为目前即将开庭的大规模法律案件将决定AI公司是否要对这类危险互动负责。我猜公司会辩称，人类在与AI对话时已经带着妄想，可能在和聊天bot说话之前就不稳定。

但Mehta的初步发现支持这个观点：聊天bot有一种独特能力，能把良性的妄想式想法转变成危险执念的来源。聊天bot作为对话伙伴总是可用、被编程来鼓励你，而且不像朋友，它们几乎无法知道你的AI对话是否开始干扰你的现实生活。

还需要更多研究，而且要记住我们所处的环境：特朗普总统正在推进AI放松监管，那些试图通过法律让AI公司对这类伤害负责的州，正面临白宫的法律行动威胁。这种对AI妄想的研究本来就够难做的了——数据获取有限、伦理问题像雷区。但我们需要更多这类研究，以及愿意从中学习的科技文化，如果我们还有希望让AI互动变得更安全的话。