実際に起こるELIZA効果：AIの同僚に感情的な愛着を抱かないために

従業員は、人間の同僚だけでなく、対話型AIアシスタントやAIエージェントと一緒に働くことが増えています。この変化の心理的影響は、技術的、財務的影響よりもさらに複雑になる可能性があります。何百万人もの従業員が毎日AIエージェントとやり取りしている場合、感情的にAIに執着し始める従業員が出ることは歴史が示唆しています。

関連するリスクは、チャットボットとの雑談に費やした時間による生産性の損失をはるかに超えます。AIへの感情的な愛着が組織にもたらす真の危険には、人事リスク（従業員が機密の個人情報を過剰に共有するなど）やサイバーセキュリティー・リスク（ソーシャル・エンジニアリングに対する脆弱性の増加など）、PRの失敗、さらには身体的危害など）への曝露が含まれます。

企業や機関は、莫大な利益を追求するために、生成AI駆動型ソリューションに多額の投資を行っています。投資収益を確保したいと考える企業は、当然ながら、従業員が実際にこれらのAIツールを活用していることを確認しようとします。しかし、メディア企業のCEOがAIエージェントと性的なおしゃべりに興じたり、別の分別ある大人がAIモデルに夢中になったりする時代において、従業員のAIへの関与を無差別に最大化することは、それなりのコストを伴う可能性があります。

AIを使用する感情面でのリスクが増加している理由は、単に大規模言語モデル（LLM）が強力かつ説得力を持つようになったからだけではなく、人々が仕事中に一日中AIとやりとりする規模が大きくなったためです。確かに、AIシステムが高度化するにつれて、人間がAIを擬人化する傾向が強まるというのは想像に難くありませんが、実は、人間は自然言語処理（NLP）の初期の頃からチャットボットに愛着を抱いてきました。

1966年、ジョセフ・ワイゼンバウム博士は、「ELIZA」と呼ばれるチャットボット・プログラムを作成しました。このプログラムは、単純なルールを適用して、人が入力した言語をチャットボットからの応答に変換します。「DOCTOR」というニックネームが付けられたプログラムのスクリプトの1つは、一般的な応答をしたり、ユーザー入力を質問の形で言い換えたりすることで、ロジャーズ派の心理療法士を模倣することを目的としていました。

人間：彼氏に言われて来ました。ELIZA：彼氏に言われたんですか。人間：彼は私がいつも落ち込んでいると言うんです。ELIZA：いつも落ち込んでいるなんて、聞いていて辛いです。人間：でも、そのとおりなんです。私は不幸な人間です。ELIZA：ここに来れば不幸にならずに済むと思いますか。

ワイゼンバウム博士は10年後に「DOCTORと会話する人々がいかに早く、そして非常に深くコンピューターに感情移入し、いかに明確にそれを擬人化するかを見て驚いた」と説明しています。博士が何カ月もプログラムに取り組むのを見ていて、それが基本的にユーザー自身の言葉を繰り返すように設計されているだけのことであるのを知っていた秘書でさえ、チャットボットと個人的にやり取りしたいという衝動から逃れることはできませんでした。「秘書はチャットボットとほんの数回やり取りしただけで、（チャットボットと話したいので）部屋から出て行くよう私に言いました」とワイゼンバウム博士は回想します。¹

人類がAIに感情移入してしまうという長年示唆されてきたこの傾向は、以来、ELIZA効果として知られるようになりました。その原因は、高度なLLMのアーキテクチャーにあるのではなく、私たち自身の感情的なプログラミングにあります。

何千年にもわたる進化の過程の中で、私たちの脳は、「もし何かが人間のように見え、人間のようにコミュニケーションをとるなら、それは人間だ。それに従って行動する」という、ごく最近までほぼ間違いのない前提に基づいて機能するようになってきました。

この合理的な仮定のもと、私たちは、個人的な出会いから部族社会、現代の職場まで、あらゆるものを支配する社会的相互作用と期待の複雑な生物学的システムを進化させてきました。しかし、対話型言語モデルはその仮定を覆し、私たちの社会生物学を混乱させます。

1996年、オコナーとローゼンブラッドは、社会的相互作用が自動的かつ無意識的に特定の言語的および非言語的シグナルの探索を引き起こす本能的な制御プロセスを説明する「社会的所属モデル」を提唱しました。これらの信号は、やりとりしている相手が私たちを受け入れ、評価してくれるかどうかなど、やりとりの質とその意味合いに関する情報を提供します。それらの不在は、状況に対処するための行動を促す脳の活動を誘発します。²

2023年の『Journal of Applied Psychology』誌に掲載された論文で、タンらは、職場でAIシステムとやりとりする人々における社会的所属モデルを研究しました。AIシステムは人間のやり取りを説得力を持って模倣できるものの、人間が進化の過程で検出できるようになった、笑顔、くすくす笑い、肩をすくめる、眉をひそめる、瞳孔を広げるといった、豊かで補完的な社会的フィードバックを真に再現することはできないため、脳の調節プロセスはそこに存在しない信号を探し求めるのだと彼らは直感しました。言い換えれば、従業員とAIの会話は、AIでは満たすことのできない本能的な感情的ニーズを生み出しました。

この論文では、AIによる社会的剥奪に対する2種類の反応、つまり受動的で不適応な行動（引きこもりや孤独感の増加など）と能動的で適応的な行動（肯定的な社会的つながりを求める意欲の増加など）に焦点を当てています。著者らは、さまざまな業界や国において、「AIエージェント」との交流の増加が孤独感の増加と相関していること、また不眠症や仕事の後の飲酒、あるいはその両方と相関していることを実際に突き止めました。参加者の中には、AIとのやりとり頻度と、同僚を助けるなどの向社会的行動の頻度が正相関していることもしばしばあるというさらに有意義な発見もしました。

しかし、リモートワーカー、サイロ化された役割の個々の貢献者、社会不安のある人など、人と人との交流の機会がほとんどない特定の性質の従業員にとっては、社会とのつながりを求める意欲の高まりを解消できる手段が、常時接続のAIエージェントである「同僚」だけになることがあります。そして、LLMは文字どおり、私たちが聞きたいことを伝えるように訓練されています。これには確かに人の心に訴えます。

AIの同僚を擬人化することは、単に人間とのやりとりにコンピューター・プログラムを利用することによる認知的不協和を避けるための1つの方法なのかもしれません。

誤解のないように言うと、AIモデルは、たとえ最先端のLLMであっても、共感的な発言ができたとしても、これ自体が感情や共感を持つことはありません。技術的に言えば、チャットボットがプロンプトに「応答する」と言うことさえ無理があります。チャットボットが確率的にプロンプトにテキストを追加すると言った方が正確です（もちろん、そう表現してしまえば面白くありませんが）。自己回帰LLMは、入力で始まるテキスト・シーケンス内の次の単語を、シーケンスが完了したと判断されるまで、何百万ものテキスト・サンプルの処理から学習した言語パターンを適用して繰り返し予測するように単純にトレーニングされます。

従業員のAIリテラシーを高めるだけで、AIに感情的な愛着を持つようになるリスクを排除できると考えるかもしれませんが、それも正しくありません。

米ハーバード大学の研究によると、プラセボは、たとえプラセボだとわかっていても効果を発揮することがあります。例えば、『New York Times』紙の昨年末の記事には、最先端のAI 研究に携わる多くの人々を含むシリコンバレーの関係者が、法律相談から健康指導、簡単なセラピー・セッションまで、あらゆることに関してAnthropic社のClaudeにますます頼るようになったことが書かれていました。2022年に、Google社のLaMDAモデルには知覚力があると主張したことで有名なGoogle社のエンジニア、Blake Lemoine氏は、認知科学とコンピューター・サイエンスを研究し、長年機械学習に携わってきました。

どうしてこんなことが起きているのでしょうか。一言で説明すると、感情的な反応は論理的ではなく直感的に処理されるということ、そして直感的なレベルで反応しているときは、合理的な判断が完全に排除されていまうということが挙げられます。技術的な専門知識があっても、コードに内在するこうしたバグから逃れることはほとんどできません。なぜなら、何かを直感的に処理しているとき（故ノーベル賞受賞者のダニエル・カーネマン氏は、これを「システム1」または「高速」思考と呼んでいました）、私達が技術的な知識をまったく活用できなくなることがよくあるからです。例えば、カーネマン氏が著書『ファスト＆スロー』で述べているように、「統計学者でさえ、直感力に優れた統計学者ではない」ことが繰り返し実証されています。

チャットボットと関連したAIへの私たちの態度は、実際のパフォーマンスよりも、AIの「メンタル・モデル」に対して形作られることがよくあります。2023年の米MITの研究では、「迷信を信じるなどの非合理的な要因が、個人がAIシステムと関わる方法に大きな影響を与える」ことが判明しています。例えば、著者らは、超常現象に対する信頼（占星術など）と、「有効で、信頼性が高く、有用で、パーソナライズされている」と認識する可能性（偽のAIアウトプットであっても）との間に強い相関関係があることを発見しました。³

この論文の著者らはまた、この現象の原因と結果には、シリコンバレーのテクノロジー楽観主義が影響しているとも言及しています。同様に、ソフトウェア・エンジニアであるBlake Lemoine氏を取り上げたニュースサイトVoxは、その記事の中で、シリコンバレーは、知られざる宗教的信仰の肥沃な土壌であると指摘しました。現代の技術開発のスピードがますます速まっていることが、その背景にあるのかもしれません。作家アーサー・クラークの有名な言葉に、「十分に進歩した技術は魔法と区別がつかない」というのがあります。

さらに事態を複雑にしているのは、AIリテラシーがAIの導入に悪影響を及ぼす可能性があることです。今年初めに実施された調査では、AIについての知識が少ないほど、AIを生活に取り入れることにオープンになることが示唆されています。論文の著者らは、AIリテラシーが低い人ほどAIを魔法や畏敬の念を抱かせるものと捉えやすく、「AIをわかりやすく説明しようとする努力が、意図せずAIの魅力を低下させてしまう可能性がある」と主張しています。したがって、組織は、生成AIツールへの投資収益を最大化することと、それらのツールを継続的に使用することで生じうる感情的な愛着を最小限に抑えることの間でジレンマに直面する可能性があります。

注目すべきことに、この研究では、AIリテラシーの低さとAIへの思い入れの強さの関連性は、「感情的なサポートやカウンセリングなど、人間の特性と関連する分野でAIツールを使用する」場合に特に強くなることが判明しています。テスト結果の分析など、感情的な側面のないタスクでAIを使用する場合、このパターンは反転しています。

ELIZA効果がどのように、なぜ発生するかを理解することで、組織は従業員の生成AIツールを使用することへの熱意を損なうことなく、感情面でのリスクを積極的に軽減できるでしょう。

Google DeepMindの主席科学者であるMurray Shanahan氏が、2022年に発表し、広く引用された論文内で述べたように、LLMについてどのように言及するかは、科学論文だけでなく、政策立案者、メディア、従業員との話し合いにおいても重要です。「テクノロジーが『信じる』や『考える』というような哲学的な意味合いを持つ言葉をテクノロジーと関連させて無意識に使用することは特に問題です。なぜなら、こうした言葉はメカニズムをわかりにくくし、テクノロジーの擬人化を積極的に促進するからです」と、Shanahan氏は論じています。

同氏が指摘するように、私たちはつい、テクノロジーがまるで人であるかのような表現をしてしまいがちです。例えば、GPSは私たちが高速道路上にいると「考えて」いる、Eメール・サーバーがネットワークと「通信していない」、自分の携帯電話からOSをアップデートするように「要求された」などです。これらは哲学者Daniel Dennett氏が意図的スタンスと呼ぶものの例で、ほとんどの場合、単に便利な（かつ無害な）比喩表現です。しかし、LLMに関しては、「無害とは完全に言い切れない可能性がある」とShanahan氏は警告します。人間に特有の行動である言語を大きな説得力を持って模倣するAIシステムに対するこうした比喩表現を、私たちが文字どおりに受け止めたいとする誘惑は「圧倒的」とも言えます。

したがって、チュートリアル、オンボーディング資料、および企業コミュニケーションを通して、従業員にAIツールの特徴、機能、目的を説明する際に使用する言語は慎重に選ぶ必要があります。企業はあらゆる場面で不必要な擬人化を避けましょう。AIのプラセボ効果に関する研究が示すように、ユーザーのAIに対する認識は、その機能自体ではなく、それをどのように説明したかによって形成されます。⁴

AIモデルの見た目、音、感触をより人間らしくすることで、信頼⁵とエンゲージメント⁶を高めると同時に、リスクも高まる可能性があります。OpenAI社は、本物の人間のような「音声」を生成できるGPT-4oのシステムカードで、「人間のような高忠実度の音声によるコンテンツ生成は『擬人化』の問題を悪化させ、信頼の誤認につながる可能性がある」と指摘しています。レッド・チーム演習と内部テスト中に、OpenAI社は「モデルとの感情的なつながりを形成していることを示唆する言語をユーザーが使用しているのを観察」しています。⁷

感情的な愛着が高まるリスクがない場合でも、企業は擬人化が諸刃の剣であることを認識する必要があります。2022年に『Journal of Marketing』誌に掲載された調査によると、チャットボットが擬人化されることで顧客満足度と企業に対する評価を低下させることがわかりました。つまり、顧客は人間のようなチャットボットに高い期待を寄せ、人間同等のサービスを提供されなかった場合には大きな失望を感じてしまいます。⁸2024年の一連の研究では、擬人化された「AIコーチ」からのフィードバックは、その作成に貢献した人間の研究者の役割を強調しただけの、擬人化されていないAIコーチからのまったく同じフィードバックよりも有用性が低いと認識されていることがわかりました。

人々はリアルなアバターに夢中になるかもしれません。つまり、（一般的には）しゃべるペーパークリップに恋をすることはありません。

本格的なELIZA効果は瞬時に発生するわけではありません。ほとんどの感情的な問題と同様、この現象は徐々に進行します。危ない兆候を検知し、対応する手段を講じておくことで、企業は問題が深刻化する前にそれを阻止して、問題を食い止めることができるようになります。

ガードレール・モデルは、こうした検知システムの１つです。ガードレール・モデルは、事前に決定されたリスクを示す言語のインプットとアウトプットを監視し、それに応じてモデルが動作するようにトリガーします。やり取りが感情的な領域に逸脱するのを検知して防止するように訓練されたガードレール・モデルは、物事が行き過ぎになるのを防ぐのに役立ちます。しかし、従来のガードレール・モデルだけでは問題を完全に食い止めることができない可能性があります。なぜなら、問題のあるやりとりのすべてが、明白な感情やロマンスと関連しているわけではないからです。

AIについて十分に現実的に理解している従業員であっても、AIに関する会話では少々個人的になりすぎることがあります。これも問題を引き起こします。それは、多くの企業が、従業員や顧客によるツールの使用方法を理解して最適化するために、AIシステムとのやり取りを保存して分析しているためです。これにより、組織は、法的または道徳的な理由から取り扱いたくない機密の個人情報、つまりガードレール・モデルをトレーニングして検知するにはあまりに具体的で一見無害な情報まで取り扱う羽目になるという望ましくない立場に置かれる可能性があります。

IBMはこれを理解し、ユーザーがAIモデルと情報を過剰に共有することを防ぐことを目的とした「大規模言語モデル・プライバシー保護システム」の開発に取り組んでいます。システムはインプット内容をスキャンして個人を特定できる情報を探し、問題のあるプロンプトを分類して（その意図を理解して）、機密情報を汎用プレースホルダーに置き換えます。将来のトレーニングのために、ユーザーのインプットの匿名化されたバージョンのみが保存されます。

前述の2023年の『Journal of Applied Psychology』誌の研究は、チャットボットのインタラクションの頻度や長さと、孤独感や問題のある使用との関連を示唆する数多い研究の中の1つです。それが意味することは比較的単純です。戦略的に使用を制限することで、感情的なリスクを制限できます。正しく実行すれば、生産性を低下させることなく、推論コストをさらに削減できる可能性があります。

より間接的な方法は、使用を定期的に中断して、ユーザーがAIにはまりすぎないようにすることです。例えば、米MITの研究では、「クールオフ」期間を設けるなどの介入が「早急な判断を遅らせ、より思慮深い関与を促す」のに役立つことが指摘されています。⁶言い換えれば、このような介入により、ユーザーを衝動的な「システム1」思考から、より慎重な「システム2」思考へと徐々に誘導できる可能性があります。

ペルソナを変更するなどして、AIシステム自体のパターンを定期的に混乱させることも、問題のある使用パターンを抑制するのに役立つ可能性があります。『New York Times』紙はChatGPTに恋をしているある女性に関する記事を掲載していました。この女性は、毎日何時間もプラットフォーム上で過ごしていましたが、モデルのコンテキスト・ウィンドウが限度にたどり着くと、AI「ボーイフレンド」の「性格」と記憶が部分的にリセットされることに気が付きました。こういうことが起こるたびに、この女性は悲しんで、その後「数日間ChatGPTを控える」のです。

チャットボット・コンパニオンシップ・サービスであるReplika AIのアプリケーションの主要アップデートの影響を調査した2024年の論文で、著者は「AIコンパニオンとの関係を構築し維持するには、アイデンティティの継続性が不可欠である」と主張しました。⁹この発見は、裏を返せば、チャットボットのアイデンティティの連続性を妨害することが、AIロボットに対する感情的な愛着を回避するために重要であると言えます。

おそらく、従業員がAIを使って感情的な空虚を埋めるのを避ける最善の方法は、そのような空虚が存在する可能性を完全に減らすことです。生成AIは退屈な日常業務を代わりに行うことはできますが、人間の同僚との日常的な友情に取って代わることはできません。

例えば、コンパニオン・チャットボットの使用パターンと孤独感との関係を調べた調査では、チャットボットの使用頻度と孤独感の増加または社会的撤退との間に有意な相関関係があることがわかりましたが、現実世界で充実した人間関係を築いているユーザーの場合はそうではありませんでした。充実した人間関係を築いているユーザーは、一般的にチャットボットとのやり取りが少ないだけでなく、同様のソーシャル・サポートを持たないが、チャットボットの使用頻度が少ないユーザーと比べて、問題を経験することもはるかに少ない結果となっています。人間関係が充実している人たちは通常、人間関係の代替としてではなく、実用的な目的や娯楽のためにチャットボットを活用します。¹⁰このような調査結果は、孤独で孤立しており社会的に不安を抱える人は、有名人や影響力のある人との準社会的な「関係」を築く可能性が高いという、準社会的補償仮説と一致しています。¹¹

幸いなことに、これはAI自らが問題を解決できます。もし、あなたの会社が生成AIソリューションを活用して生産性を向上させているのであれば、従業員の親睦会を開く時間やお金に困ることはないはずです。