越来越多的员工发现自己身边不仅有人类同事,还有会话式 AI 助理和 AI 智能体。这种转变的心理影响可能比技术和财务影响更为复杂:当数百万员工每天与 AI 同事交互时,历史表明部分员工会产生情感依恋。
相关风险远远超出了与聊天机器人闲聊造成生产力损失的范畴。员工对 AI 产生情感依恋的切实组织风险包括:人力资源风险(例如员工过度分享敏感的个人信息)和网络安全风险(例如社会工程攻击的脆弱性增加)、公关危机甚至人身伤害 。
企业和机构正在大力投资生成式 AI 驱动的解决方案,以发挥其巨大优势。为确保投资回报,企业自然会积极鼓励员工切实利用这类 AI 工具。但是,在这个媒体 CEO 与 AI 生成的下属调情 以及理性的成年人爱上 AI 模型的时代,不加选择地鼓励员工最大限度应用 AI 可能会付出代价。
AI 的情感风险正在增加,这不仅是因为 大型语言模型 (LLM) 变得日益强大且令人信服,还因为人们在日常工作中要与其大规模互动。诚然,随着 AI 系统日益精进,人们愈发容易将其拟人化——但从自然语言处理 (NLP) 技术诞生初期,人类就常对聊天机器人产生情感依恋。
1966 年,Joseph Weizenbaum 创建了一款名为 ELIZA 的聊天机器人程序,该程序可应用简单的规则将人输入的语言转换为聊天机器人的响应。该程序有一个绰号为 “DOCTOR” 的脚本,旨在模仿罗杰斯式心理治疗师,通过一般性回应或以问题形式重新表述用户输入:
人类:嗯,我男朋友让我来这里。ELIZA:你男朋友让你来这里?人类:他说我经常情绪低落。ELIZA:听到你很情绪低落,我感到很遗憾。人:确实如此。我不开心。 ELIZA:你觉得来这里能让你不再难过吗?
正如 Weizenbaum 十年后解释的那样,他“惊讶地发现:与 DOCTOR 程序对话的人,竟如此迅速而彻底地对计算机产生情感依恋,并毫无保留地将其拟人化。”就连他的秘书也无法抵挡与聊天机器人进行私人交流的冲动,因为她已经观察了 Weizenbaum 几个月的工作,知道这个程序的设计目的基本上是为了转述用户本人的话。“仅与之交流了几次后,”Weizenbaum 回忆道,“她就要求我离开房间。”1
此后,人类对 AI 长期投入情感的倾向就被称为 ELIZA 效应。其原因不在于高级 LLM 的架构,而在于我们自身的情感编程。
几千年来,进化使我们的大脑基于假设运作,直到最近,这个假设依然万无一失:如果某个事物看似人类且能像人类一样交流,那么它就是人类,不妨据此行事。
基于这一合理的假设,我们演变出了一个复杂的生物系统,该系统由社会互动和期望组成,它控制着从个人接触到部落社会再到现代工作场所的一切事物。但是,会话语言模型破坏了这一假设,从而扰乱了我们的社会生物学。
1996 年,O'Connor 和 Rosenblood 提出“社交归属模型”,用以描述人类通过社交互动自动且潜意识地搜寻特定言语以及非言语信号的本能调节机制。这些信号可提供有关此类互动质量及其影响的信息,例如与我们互动的人是否接受并重视我们。反之,缺失信号又会触发大脑活动,从而驱动旨在应对当前情境的行为。2
在 2023 年《应用心理学》上发表的一篇论文中,Tang 等人研究了人类在工作场所与 AI 系统交互背景下的社会归属模型。研究者洞察到:AI 系统虽能逼真模拟人类互动,却无法真实复现并检测进化赋予人类的丰富互补性社交反馈(如微笑、轻笑、耸肩、蹙眉、瞳孔扩张),导致大脑调节机制持续搜寻并不存在的信号。换句话说,员工与 AI 的对话会产生 AI 无法满足的本能情感需求。
该论文重点研究了针对这种 AI 驱动的社交剥夺的两类反应:被动的适应不良行为(如退缩和孤独感增加)以及主动的适应行为(如寻求积极社交联系的动力增强)。在不同的行业和国家/地区,笔者确实发现与“AI 同事”互动频率增加与孤独感上升有关,也与失眠、下班后饮酒或两者有关。更富有成效的是,笔者还发现,对于某些参与者来说,AI 互动频率的增加通常也与亲社会行为(如帮助同事)的增加相关。
但对于具有某种特定性情、很少进行人际互动的员工来说(例如远程工作者、担任独立职责的个人贡献者或有社交焦虑的人),他们渴望建立社交联系,但只有一个发泄渠道:即全天候在线的 AI“同事”。从字面意义上讲,LLM 的训练目标是“投其所好”。这一前景显然极具吸引力。
AI 同事拟人化或许只是避免通过计算机程序进行人机交互时产生认知失调的方法。
需要明确的是,尽管 AI 模型能够说出富有同情心的话,但其并没有情感或同理心,即使是最前沿的 LLM。严格来说,称聊天机器人“响应”用户提示已属牵强——更准确(尽管乏味)的说法是:聊天机器人仅以概率方式追加文本。自回归 LLM 的训练目标仅是迭代预测以输入文本开头的序列中的下一个词,应用其从处理数百万文本样本中学到的语言模式,直至判定序列完成为止。
我们有理由相信,只要提高员工的 AI 素养,就能消除其对 AI 产生情感依恋的风险,但这一认知也是错误的。
正如哈佛大学研究表明,即使您知道这是安慰剂,但它也能发挥作用。例如,《纽约时报》去年年底的报道探讨了硅谷内部人员(包括许多从事 AI 前沿研究的人)是越来越多地求助于 Anthropic Claude,“从法律咨询到健康指导,乃至临时治疗”等各类事务。Google 的工程师 Blake Lemoine 在 2022 年曾声称 Google 的 LaMDA 模型具有感知能力,他的研究方向认知和计算机科学,且从事了多年的机器学习工作。
这怎么可能呢?一种宽泛的解释是,情绪反应是通过直觉而非逻辑来处理的,当某件事在直觉层面发生时,它可以完全绕过理性评价。技术专业知识几乎无法避免代码中的这个固有错误,因为当我们凭直觉处理某些事情时(已故诺贝尔奖获得者 Daniel Kahneman 称之为“系统 1”或“快速”思考),我们往往根本无法运用我们的技术知识。例如,正如 Kahneman 在他的开创性著作《Thinking, Fast and Slow》中所描述的那样,他的研究一再证明“即使是统计学家,凭直觉处理事情时,他们也不是优秀的统计学家”。
就聊天机器人而言,我们对 AI 的态度往往更多取决于其“心智模型”,而非实际表现。麻省理工学院 (MIT) 2023 年的一项研究发现,“迷信思维等非理性因素会显著影响个人与 AI 系统的互动方式。”例如,笔者发现超自然信仰(如占星术)与将虚假 AI 输出视为“有效、可靠、有用和个性化”的可能性之间存在极强相关性。3
论文作者还提到,硅谷的技术乐观主义既是造成这一现象的原因,也是其结果。同样,Vox 在报道 Blake Lemoine 时指出,硅谷是晦涩宗教信仰的沃土。现代科技发展的步伐越来越快,这可能也起到了一定的作用:引用 Arthur Clark 的名言,“任何足够先进的技术都与魔法无异。
更复杂的是,AI 素养可能会对 AI 普及产生不利影响:本年初的研究表明,对 AI 的了解越少,人们就越愿意在生活中加以应用 。论文作者认为,AI 素养较低的人更有可能将其视为拥有魔力或令人敬畏的事物,并且“揭开 AI 神秘面纱的行为可能会无意中降低其吸引力”。因此,组织可能会面临一种矛盾:一方面要最大限度地提高生成式 AI 工具的投资回报,另一方面又要最大限度地减少因持续使用这类工具而产生的情感影响。
值得注意的是,研究发现在“将 AI 工具应用于人们认为具有人类特质的领域(如提供情感支持或心理咨询)时”,AI 素养低与 AI 热情高之间的关联最为显著。在处理没有情感内涵的任务(如分析测试结果)时,这一模式就会发生逆转。
通过了解”ELIZA 效应“发生的方式和原因,组织可以主动降低这些风险,而不会削弱员工使用生成式 AI 工具的热情。
正如 Google DeepMind 首席科学家 Murray Shanahan 在 2022 年被广泛引用的一篇文章 中所述,我们谈论 LLM 的方式至关重要:不仅在科学论文中,而且在与政策制定者、媒体和员工的讨论中也是如此。他提到:“随意使用‘相信’、‘思考’这类充满哲学色彩的词汇尤为不妥,因为这些术语会掩盖机制,并主动助长拟人化倾向。”
正如 Shanahan 所指出的,使用拟人化的语言来谈论技术是正常且自然的。GPS 提醒我们正在上方的高速公路立交桥上行驶。电子邮件服务器无法与网络通信。我的手机提示我更新操作系统。这些是哲学家 Daniel Dennett 所说的意向性立场的示例,在大多数情况下,它们只是有用(且无害)的修辞手法。但是,当谈到 LLM 时,Shanahan 警告说,“事情可能会变得有点模糊。对于能够如此令人信服地模仿人类最独特的行为 – 语言 – 的 AI 系统来说,从字面上理解这些修辞手法的诱惑力“几乎无法抗拒”。
因此,教程、入职培训材料和企业通信均应谨慎措辞,使用恰当的语言为员工描述 AI 工具的特性、功能和用途。企业应避免在各个方面进行不必要的拟人化。正如对 AI 安慰剂效应的研究所表明的,用户对 AI 的看法往往更多取决于其描述方式,而非其真实能力。4
让 AI 模型在外观、声音和感觉上都更加拟人化,可以提高信任度5和参与度,6但也会增加风险。在 GPT-4o(能生成逼真类人“语音”)的系统说明中,OpenAI 指出:“通过类似人类且高保真的语音生成内容可能加剧[拟人化]问题,导致用户信任度进一步失准。”在红队和内部测试期间,OpenAI “观察到用户所用的语言可能表明其与模型建立了联系。”7
即使没有情感依恋的风险增加,企业也应该意识到拟人化是一把双刃剑。2022 年发表在《Journal of Marketing》上的一项研究发现,拟人化聊天机器人降低了客户满意度和对公司的评价:从本质上讲,客户对类人聊天机器人的期望更高,而当它们不能提供人性化服务时,他们会更加失望。82024 年的一系列研究发现,拟人化的“AI 教练”提供的反馈被认为不如非拟人化的 AI 教练提供的相同反馈有用,后者只是强调了人类研究人员在创造过程中的作用。
人们可能会爱上一个逼真的头像,但他们(通常)不会爱上一个会说话的回形针。
ELIZA 效应的全面爆发并非一蹴而就。与大多数情感问题一样,这种现象也是逐渐形成的。借助检测警示信号并采取相应行动的方法,可以帮助企业在潜在问题升级前及时拦截并化解。
护栏模型是该检测系统的常见方案:它们能监控输入和输出中表明预定风险的语言,并触发模型采取相应的行动。经过训练的护栏模型可以检测并防止对话滑向情感领域,从而避免失控情况。但是,仅仅依靠传统的护栏模型可能无法完全解决问题,因为并非所有问题交互都涉及明显的情感和浪漫内容。
即使是对 AI 有着完全现实理解的员工,有时在与 AI 的对话中也会变得过于个人化。这也是一个问题,因为许多企业存储和分析与 AI 系统的交互,以了解和优化员工或客户如何使用这些工具。这可能会使组织陷入尴尬的境地,即向他们提供敏感的个人信息,出于法律或道德原因,他们宁愿不处理这些信息,因为这些信息太过具体且看似无害,以至于无法训练护栏模型进行检测。
认识到这一点后,IBM 致力于开发“大型语言模型隐私保护系统”,旨在防止用户与 AI 模型过度分享内容。该系统会扫描输入中的个人身份信息,对违规提示进行分类(以了解其意图),然后借助通用占位符替换敏感信息,仅存储用户输入的匿名版本以供未来训练之用。
上文提到的 2023 年《应用心理学 》研究是众多表明聊天机器人交互频率或时长与孤独感或问题使用行为之间存在联系的研究之一。其含义相对简单:战略性地限制使用率或可降低情绪风险。如果执行得当,它可以在不降低生产率以及推理成本的情况下实现这一目标。
更间接的一种做法是定期扰乱使用模式,从而防止用户深陷其中。例如,MIT 的研究指出,强加“冷静期”等干预措施有助于“延缓用户做出快速判断并鼓励更深思熟虑的参与行为”。6换句话说,此类干预措施能温和地促使用户从冲动的“系统 1”思维转向更加深思熟虑的“系统 2”思维。
定期扰乱 AI 系统本身的模式(例如通过改变其角色)也可能有助于阻止问题使用模式。《纽约时报》的一篇文章写道,一位女士爱上了 ChatGPT 且每天要花很多时间在这个平台上;文章指出,每当她最大化模型上下文窗口时,其 AI“男友”的“个性”和记忆就会部分重置。一旦发生这种情况,她就会很悲伤,随后“几天停用 ChatGPT”。
在 2024 年的一篇论文中,作者探讨了聊天机器人陪伴服务 Replika AI 重大应用更新带来的影响,指出“身份连续性对于发展和维持与 AI 伙伴的关系至关重要”。9这一发现的反证含义是,“破坏”聊天机器人的身份连续性可能是“避免”对 AI 伙伴产生情感依恋的关键。
也许避免员工利用 AI 填补情感空虚的最好办法,就是减少此类空虚存在的几率。生成式 AI 或可代替人类执行繁琐的日常工作,但其无法取代人类同事之间的日常情谊。
例如,一项关于陪伴聊天机器人的使用模式及其与孤独感关系的研究发现,聊天机器人的使用频率与孤独感或社交退缩的增加之间存在显著相关性,但对于拥有强大真实世界社交网络的用户来说却“并非如此”。拥有强大社交网络的用户不仅通常与聊天机器人的互动较少,而且他们遇到的问题也比没有类似社交支持的轻度用户少得多。他们通常将聊天机器人用于实际用途和娱乐,而不是作为关系的替代品。10 这些发现与“拟社会补偿假说”一致,该假说指出,孤独、孤立和社交焦虑的个体更有可能与名人或有影响力的人建立拟社会“关系”。11
幸运的是,这是 AI 可以解决自身问题的案例。如果贵司的生成式 AI 解决方案能兑现其潜在的生产力效益提升,自然不乏为员工举办披萨派对的时间和预算。
通过会话式 AI 提供统一的智能化客户服务。深入了解如何利用 IBM watsonx Assistant 加速与客户的沟通、提高工作效率并提高利润。
通过增加 AI 重塑关键工作流程和运营,最大限度提升体验、实时决策和商业价值。
借助 IBM 业界领先的人工智能专业知识和解决方案组合,让人工智能在您的业务中发挥作用。
1. 计算机能力与人类理性,Weizenbaum,1976 年
2. “日常体验中的归属动机:理论比较”,《人格与社会心理学杂志》70(3):513- 522,1996 年
3. “超级智能还是迷信?探索影响人们相信 AI 对个人行为预测能力的心理因素”,arXiv,2024 年 12 月 19 日
4. “人工智能在人机交互中的安慰剂效应”,《美国计算机学会人机交互作用汇刊》第 29 卷(第 6 期),2023 年 1 月 11 日
5. “机器的思维:拟人化设计提升了人们对自动驾驶汽车的信任度”,《实验社会心理学杂志》第52卷,2014 年 5 月
6. “人工智能中的拟人化:品牌营销的游戏规则改变者”,《未来商业杂志》第 11 卷,2025 年
7. “GPT-4o 系统说明”,OpenAI,2024 年 8 月 8 日
8. “责怪机器人:客户聊天机器人交互中的拟人化和愤怒情绪”,《市场营销杂志》第 86 卷,2022 年
9. “从 Replika AI 应用程序更新中汲取的经验教训:人类与 AI 关系中的身份不连续性”,哈佛商学院工作论文系列,2024 年
10. “聊天机器人伙伴关系:陪伴型聊天机器人使用模式及其与活跃用户孤独感关系的混合方法研究”, arXiv,2024 年 12 月 18 日
11. “准社会补偿假说:利用准社会关系补偿现实生活互动的预测因素”,《想象力、认知与个性》第 35 卷,2015 年 8 月