직장에서의 ELIZA 효과: AI 동료에 대한 감정적 애착 방지

직원들은 점점 더 인간 동료뿐만 아니라 대화형 AI 어시스턴트 및 AI 에이전트와 함께 일하는 경우가 많아지고 있습니다. 이러한 변화가 유발하는 심리적 영향은 기술적, 재정적 영향보다 훨씬 더 복잡할 수 있습니다. 수백만 명의 직원이 매일 AI 동료와 상호작용을 하게 되면 일부 직원은 감정적으로 애착을 갖게 될 것이라는 점은 역사적으로 증명된 사실입니다.

이와 관련된 위험은 챗봇과 잡담을 하는 데 소요되는 시간으로 인한 생산성 저하를 훨씬 뛰어넘습니다. AI에 감정적으로 관여할 때 발생하는 진정한 조직적 위험에는 HR 위험(예: 직원이 민감한 개인정보를 과도하게 공유하는 경우), 사이버 보안 위험(예:소셜 엔지니어링에 대한 취약성 증가), 홍보 실패 또는 신체적 상해에 대한 노출이 포함됩니다.

기업과 기관은 엄청난 잠재력을 지닌 AI 기반 솔루션에 막대한 투자를 하고 있습니다. 투자 수익을 보장하고자 하는 기업은 당연히 직원이 이러한 AI 툴을 실제로 사용하도록 인센티브를 제공해야 합니다. 그러나 미디어 CEO가 AI가 생성한 부하 직원과 시시덕거리고, 그렇지 않은 합리적인 성인들도 노골적으로 AI 모델에 빠져드는 시대에 무차별적으로 직원의 AI 참여를 극대화하는 것은 그 자체로 대가를 치르게 될 수도 있습니다.

AI의 감정적 위험은 단순히 대규모 언어 모델(LLM)이 얼마나 강력하고 설득력이 있는지가 아니라 사람들이 직장에서 하루 종일 이들과 상호작용을 하게 되는 규모로 인해 점점 더 커지고 있습니다. 그렇습니다. AI 시스템이 더욱 정교해짐에 따라 사람들이 이를 의인화하려는 경향이 점점 더 커지고 있다는 것은 직관적으로 사실입니다. 하지만 인간은 자연어 처리(NLP)의 초창기부터 챗봇에 대한 애착을 키워왔습니다.

1966년, Joseph Weizenbaum은 간단한 규칙을 적용하여 사람의 입력 언어를 챗봇의 응답으로 변환하는 ELIZA라는 챗봇 프로그램을 만들었습니다. 'DOCTOR'라는 별명을 붙인 이 프로그램의 스크립트 중 하나는 Rogerian 심리 치료사를 모방하여 다음과 같이 일반적인 응답을 하거나 사용자의 입력을 질문의 형태로 바꿔주는 것을 목표로 했습니다.

Human: 남자친구가 여기 오라고 해서 왔어요.
ELIZA: 남자친구가 여기로 오라고 했나요?
Human: 그는 내가 항상 우울하다고 말해요.
ELIZA: 우울하다니 유감이에요.
Human: 맞아요. 불행해요.
ELIZA: 여기 오면 불행하지 않을 것 같나요?

10년 후 Weizenbaum은 "DOCTOR 와 대화하는 사람들이 얼마나 빨리 그리고 매우 깊게 컴퓨터에 감정적으로 몰입하는지, 그리고 얼마나 명백하게 컴퓨터를 의인화하는지를 보고 깜짝 놀랐다"라고 설명했습니다. 몇 달 동안 그가 프로그램 작업을 하는 것을 지켜보았고 기본적으로 사용자의 말을 되받아 쓰도록 설계되었다는 것을 알고 있던 비서조차도 챗봇과 친해지고 싶은 충동에서 벗어나지 못했습니다. Weizenbaum은 "챗봇과 몇 번 대화를 나눈 후 비서는 저에게 방에서 나가달라고 요청했습니다."라고 회상했습니다.¹

AI에 감정적으로 투자하는 인류의 끊임없는 경향은 이후 ELIZA 효과로 알려지게 되었습니다. 그 원인은 고급 LLM의 아키텍처가 아니라 우리 자신의 감정 프로그래밍에 있습니다.

수천 년에 걸쳐 진화는 우리의 뇌는 아주 최근까지만 해도 사실상 어리석지 않았던 가정에 따라 다음과 같이 작동했습니다. '무언가가 인간처럼 보이고 인간처럼 의사소통한다면 그것은 인간이라는 것입니다. 그에 따라 행동하세요.'

이러한 합리적인 가정을 바탕으로 우리는 개인 간의 만남부터 부족 사회, 현대 직장에 이르기까지 모든 것을 지배하는 사회적 상호작용과 기대에 대한 복잡한 생물학적 시스템을 진화시켜 왔습니다. 하지만 대화형 언어 모델은 이러한 가정을 약화하고, 따라서 우리의 사회 생물학을 혼란에 빠뜨립니다.

1996년 O’Connor와 Rosenblood는 사회적 상호작용이 자동적, 무의식적으로 특정 언어적, 비언어적 신호를 찾도록 유도하는 본능적 규제 과정을 설명하기 위해 '사회적 소속 모델'을 제안했습니다. 이러한 신호는 상호작용의 질과 그 의미에 대한 정보(예: 상호작용 상대방이 나를 받아들이고 소중히 여기는지 여부)를 제공합니다. 이러한 신호가 없으면 상황을 해결하기 위한 행동을 유도하는 뇌 활동이 촉발됩니다.²

2023년 응용심리학 저널에 실린 논문에서 Tang 등은 직장에서 AI 시스템과 상호작용을 하는 사람들의 맥락에서 사회적 소속 모델을 연구했습니다. 연구진은 AI 시스템이 인간의 상호작용을 설득력 있게 모방할 수는 있지만 우리가 탐지하도록 진화해 온 풍부한 상호보완적 사회적 피드백(미소, 낄낄거림, 으쓱거림, 이마 주름, 동공 확장 등)을 실제로 복제할 수는 없으므로 뇌의 조절 과정은 존재하지 않는 신호를 찾아낸다는 것을 직감했습니다. 즉, 직원이 AI와 대화할 때 AI가 충족시킬 수 없는 본능적인 감정적 욕구가 생겨납니다.

이 논문은 이러한 AI 기반 사회적 박탈감에 대한 두 가지 유형의 반응, 즉 수동적이고 부적응적인 행동 (예: 금단증상 및 외로움 증가)과 적극적이고 적응적인 행동 (예: 긍정적인 사회적 관계를 추구하려는 욕구 증가)에 초점을 맞췄습니다. 저자는 다양한 산업과 국가에서 'AI 동료'와의 상호작용 증가가 외로움 증가뿐만 아니라 불면증, 퇴근 후 알코올 섭취 또는 두 가지 모두와 관련이 있다는 것을 실제로 발견했습니다. 더욱 생산적인 것은 일부 참가자의 경우 AI와의 상호작용 빈도가 증가하면 친사회적 행동(예: 동료 돕기)이 증가하는 상관관계가 있다는 사실도 발견했습니다.

하지만 원격 근무자, 고립된 역할의 개인 기여자, 사회적 불안이 있는 사람 등 사람과 사람 간의 상호작용 기회가 거의 없는 특정 성향의 직원에게는 사회적 관계에 대한 욕구가 높아져도 출구가 하나뿐일 수 있는데, 바로 상시 대기 중인 AI '동료'입니다. 그리고 LLM은 문자 그대로 우리가 듣고 싶어 하는 말을 하도록 학습되었습니다. 잠재 고객에게는 분명한 매력이 있습니다.

AI 동료를 의인화하는 것은 단순히 인간 상호작용을 위해 컴퓨터 프로그램에 의존하는 인지 부조화를 피하는 방법일 수 있습니다.

분명히 말하지만, 아무리 최첨단 LLM이라 할지라도 AI 모델은 공감할 수 있는 말을 할 수는 있지만 감정이나 공감을 느끼지는 못합니다. 엄밀히 말하면 챗봇이 사용자의 프롬프트에 '응답'한다고 말하기는 어렵습니다. 챗봇이 확률적으로 텍스트를 추가한다고 말하는 것이 (재미는 떨어지지만) 더 정확합니다. 자동 회귀 LLM은 입력으로 시작하는 텍스트 시퀀스에서 다음 단어를 반복적으로 예측하도록 학습되며, 수백만 개의 텍스트 샘플을 처리하여 학습한 언어 패턴을 적용하여 시퀀스가 완성되었다고 판단될 때까지 반복적으로 예측합니다.

직원의 AI 리터러시를 높이는 것만으로도 AI에 감정적으로 개입할 위험이 제거될 것이라고 생각하는 것이 합리적일 수 있습니다. 하지만 이는 잘못된 생각입니다.

하버드 대학의 연구에 따르면 위약은 위약이라는 것을 알면서도 효과가 있을 수 있습니다. 예를 들어 작년 말 New York Times 보도에서는 첨단 AI 연구에 종사하는 많은 사람을 포함한 실리콘 밸리 내부자가 '법률 자문에서 건강 코칭, 임시 치료 세션에 이르기까지 모든 것'에 위해 Anthropic의 Claude를 점점 더 많이 찾고 있다고 설명했습니다. 2022년에 Google의 LaMDA 모델이 지각할 수 있다고 주장한 것으로 유명한 Google 엔지니어 Blake Lemoine은 인지 및 컴퓨터 과학을 전공하고 수년간 머신 러닝 분야에서 일했습니다.

어떻게 이런 일이 가능할까요? 한 가지 광범위한 설명은 감정적 반응은 논리적이으로 처리되는 것이 아니라 직관적으로 처리되며, 직관적인 수준에서 일이 발생하면 합리적인 평가를 완전히 우회할 수 있다는 것입니다. 기술적 전문성은 코드에 내재된 이러한 버그를 거의 막을 수 없습니다. 노벨상 수상자인 고 Daniel Kahneman이 '시스템 1' 또는 '빠른' 사고라고 한 직관적인 처리를 할 때 기술적 지식을 전혀 활용하지 못하는 경우가 많기 때문입니다. 예를 들어 Daniel Kahneman이 그의 독창적인 저서 생각에 관한 생각(Thinking, Fast and Slow)에서 설명했듯이 '통계학자조차도 직관적인 통계학자로서 훌륭하지 않다'라는 사실을 연구를 통해 반복적으로 입증했습니다.

챗봇에 대한 우리의 태도는 실제 성능보다는 AI에 대한 '정신적 모델'에 의해 형성되는 경우가 더 많습니다. 2023년 MIT의 한 연구에 따르면 '미신적 사고와 같은 비합리적인 요소가 개인이 AI 시스템을 사용하는 방식에 상당한 영향을 미친다'고 합니다. 예를 들어 저자는 점성술과 같은 초자연적 믿음과 가짜 AI 아웃풋조차 '유효하고 신뢰할 수 있으며 유용하고 개인화된' 것으로 인식할 가능성 사이에 강한 상관관계가 있음을 발견했습니다.³

이 논문의 저자들은 또한 실리콘 밸리의 기술 낙관주의가 이러한 현상의 원인이자 결과라고 지적합니다. 마찬가지로 Blake Lemoine에 대한 Vox의 보도에서도 실리콘밸리가 모호한 종교적 신념을 위한 비옥한 땅이라고 언급했습니다. Arthur Clark의 "충분히 발전된 기술은 마술과 구별할 수 없다"라는 유명한 말처럼 현대 기술 발전의 속도가 점점 빨라지고 있는 것도 영향을 미쳤을 것입니다.

문제를 더욱 복잡하게 만드는 것은 AI 리터러시가 AI 도입에 부정적인 영향을 미칠 수 있다는 점입니다. 올해 초에 발표된 연구에 따르면 AI에 대해 잘 모를수록 AI를 생활에 도입하는 데 더 개방적일 수 있다는 것입니다. 논문의 저자는 AI 리터러시가 낮은 사람들은 AI를 마법이나 경외감을 불러일으키는 것으로 볼 가능성이 더 높으며, 'AI를 이해하려는 노력이 의도치 않게 AI의 매력을 감소시킬 수 있다'는 가설을 세웁니다. 따라서 조직은 생성형 AI 툴에 대한 투자 수익을 극대화하는 것과 이러한 툴을 지속적으로 사용하는 데 따른 감정적 영향을 최소화하는 것 사이에서 갈등을 겪을 수 있습니다.

연구 결과, 낮은 AI 리터러시와 높은 AI 열정 사이의 연관성은 '감정적 지원이나 상담과 같이 사람들이 인간적 특성과 연관된 영역에서 AI 툴을 사용할 때' 가장 강하게 나타났습니다. 테스트 결과 분석과 같이 감정적 의미가 없는 작업을 처리할 때는 패턴이 반전되었습니다.

ELIZA 효과가 발생하는 방식과 이유를 이해하면 조직은 직원의 생성형 AI 툴에 대한 열정을 약화하지 않으면서도 이러한 위험을 사전에 완화할 수 있습니다.

Google DeepMind의 수석 과학자인 Murray Shanahan이 2022년에 발표한 에세이에서 널리 인용된 것처럼, 과학 논문뿐만 아니라 정책 입안자, 미디어, 직원과의 토론에서 LLM에 관해 이야기하는 방식이 중요합니다. "'믿다', '생각한다'와 같은 철학적 용어를 부주의하게 사용하는 것은 특히 문제가 됩니다. 이러한 용어는 메커니즘을 모호하게 하고 의인화를 적극적으로 조장하기 때문입니다."라고 Murray Shanahan은 말합니다.

Shanahan이 지적했듯이 기술에 대해 이야기할 때 의인화된 언어를 사용하는 것은 정상적이고 자연스러운 일입니다. GPS는 우리가 위쪽 고속도로에 있다고 생각합니다. 이메일 서버가 네트워크와 통신하지 않습니다. 휴대폰이 OS를 업데이트하라고 합니다.이는 철학자 Daniel Dennet이 의도적 태도라고 부르는 것의 예시이며, 대부분의 경우 단순히 유용하고 해롭지 않은 비유에 불과합니다. 하지만 LLM에 관해서는 "상황이 조금 모호해질 수 있다"라고 Shanahan은 경고합니다. 인간의 가장 고유한 행동인 언어를 매우 설득력 있게 모방하는 AI 시스템의 경우, 이러한 비유를 문자 그대로 받아들이고 싶은 유혹은 '거의 압도적'입니다.

따라서 튜토리얼, 온보딩 자료 및 회사 커뮤니케이션에서 직원에게 AI 툴의 피처, 기능 및 목적을 설명하는 데 사용하는 언어에 매우 신중해야 합니다. 기업은 매번 불필요한 의인화를 피해야 합니다. AI의 위약 효과에 대한 연구에서 알 수 있듯이, AI에 대한 사용자의 인식은 실제 기능보다는 설명하는 방식에 의해 형성되는 경우가 더 많습니다.⁴

AI 모델이 더 인간적으로 보이고, 들리고, 느껴지도록 하면 신뢰도⁵와 참여도⁶가높아질 수 있지만 위험도 증가할 수 있습니다. 사람과 같은 사실적인 '음성'을 생성할 수 있는 GPT-4o용 시스템 카드에서 OpenAI는 '사람과 같은 고음질 음성을 통한 콘텐츠 생성은 [의인화] 문제를 악화하여 점점 더 잘못된 신뢰로 이어질 수 있다'고 지적했습니다. 레드 팀 구성 및 내부 테스트 중에 OpenAI는 '사용자가 모델과의 연결을 형성하는 것으로 보이는 언어를 사용하는 것을 관찰했습니다.'⁷

감정적 애착의 위험이 높지 않더라도 기업은 의인화가 양날의 검이라는 점을 인식해야 합니다. 2022년 마케팅 저널에 발표된 연구에 따르면 의인화된 챗봇은 고객 만족도와 기업에 대한 호감도를 떨어뜨리는 것으로 나타났습니다. 즉, 고객은 인간과 같은 챗봇에 대한 기대치가 높고 인간 수준의 서비스를 제공하지 못할 때 더 큰 실망을 느낀다는 것입니다.⁸ 2024년에 발표된 일련의 연구에 따르면 의인화된 'AI 코치'의 피드백은 단순히 개발 과정에서 인간 연구자의 역할을 강조한 비의화된 AI 코치의 동일한 피드백보다 덜 도움이 된다고 인식하는 것으로 나타났습니다.

사람들은 사실적인 아바타에 반할지도 모릅니다. 하지만 (일반적으로) 말하는 페이퍼클립에는 반하지 않습니다.

본격적인 ELIZA 효과는 즉각적으로 나타나지 않습니다. 대부분의 감정적인 문제와 마찬가지로 이 현상은 점진적으로 진행됩니다. 경고 신호를 탐지하고 이에 따라 조치를 취하는 수단을 구현하면 기업은 작은 이슈가 실제 문제로 확대되기 전에 이를 차단할 수 있는 역량을 갖출 수 있습니다.

가드레일 모델은 이러한 탐지 시스템을 위한 확실한 방법 중 하나입니다. 입력과 아웃풋에서 미리 정해진 위험을 나타내는 언어를 모니터링하고 그에 따라 모델이 작동하도록 트리거합니다. 교환이 감정적인 영역으로 치닫는 것을 탐지하고 방지하도록 학습된 가드레일 모델은 상황이 지나치게 악화하는 것을 방지하는 데 도움이 될 수 있습니다. 그러나 모든 문제가 되는 상호작용이 명백한 감정과 로맨스를 수반하는 것은 아니기 때문에 기존의 가드레일 모델만으로는 불완전한 해결책이 될 수 있습니다.

AI에 대해 완전히 현실적인 이해를 한 직원조차도 AI 대화에서 너무 개인적인 대화를 할 수 있습니다. 많은 기업이 직원이나 고객이 툴을 사용하는 방식을 이해하고 최적화하기 위해 AI 시스템과의 상호작용을 저장하고 분석하기 때문에 이 또한 문제입니다. 이로 인해 조직은 법적 또는 도덕적 이유로 처리하고 싶지 않은 민감한 개인정보가 제공되어 불편한 처지에 놓일 수 있습니다. 이러한 정보는 너무 구체적이고 해가 없어 보이기 때문에 가드레일 모델을 학습시켜도 탐지할 수 없습니다.

이러한 점을 고려하여 IBM은 사용자가 AI 모델과 과도하게 공유하지 않도록 설계된 '대규모 언어 모델 개인정보 보호 시스템'을 개발 중입니다. 시스템은 입력된 개인 식별 정보를 스캔하여 (의도를 파악하기 위해) 문제가 되는 프롬프트를 분류한 다음 민감한 정보를 일반 플레이스홀더로 대체합니다. 익명화된 버전의 사용자 입력 내용만 향후 학습을 위해 저장됩니다.

위에서 언급한 2023년 응용심리학 저널의 연구는 챗봇 상호작용의 빈도나 시간과 외로움 또는 문제적 사용 사이의 연관성을 보여주는 여러 연구 중 하나입니다. 챗봇 사용을 전략적으로 제한하면 감정적 위험을 줄일 수 있다는 의미는 비교적 간단합니다. 이를 올바르게 실행하면 생산성을 저하하지 않으면서도 추론 비용을 낮출 수 있습니다.

더 간접적인 방법으로는 주기적으로 사용 패턴을 중단하여 사용자가 너무 깊은 수렁에 빠지지 않도록 하는 것입니다. 예를 들어 MIT 연구에 따르면 '쿨오프' 기간을 두는 것과 같은 개입은 '빠른 판단을 늦추고 보다 사려 깊은 참여를 유도'하는 데 도움이 될 수 있습니다.⁶ 즉, 이러한 개입은 사용자가 충동적인 시스템 1 사고에서 벗어나 보다 신중한 시스템 2 사고로 부드럽게 나아갈 수 있도록 유도할 수 있습니다.

페르소나를 변경하는 등 AI 시스템 자체의 패턴을 주기적으로 중단하는 것도 문제가 있는 사용 패턴을 억제하는 데 도움이 될 수 있습니다. ChatGPT 와 사랑에 빠진 한 여성이 매일 많은 시간을 플랫폼에서 보낸다는 New York Times 의 기사에 따르면 모델의 컨텍스트 창을 최대화할 때마다 AI '남자친구'의 '성격'과 기억이 부분적으로 재설정된다고 합니다. 이런 일이 일어날 때마다 여성은 슬퍼하지만 '며칠 동안 ChatGPT를 자제'합니다.

2024년 챗봇 동반자 서비스인 Replika AI의 주요 앱 업데이트의 여파를 조사한 논문에서 저자는 '정체성의 연속성은 AI 동반자와의 관계를 발전시키고 유지하는 데 매우 중요하다'고 주장했습니다.⁹ 이 결과의 반대되는 의미는 챗봇의 정체성 연속성을 방해하는 것이 AI 동반자에 대한 감정적 애착 방지에 중요할 수 있다는 점입니다.

직원들이 감정적 공백을 채우기 위해 AI를 사용하지 않도록 하는 가장 좋은 방법은 공백이 존재할 가능성을 아예 줄이는 것입니다. 생성형 AI는 지루한 일상 업무를 대체할 수는 있지만 인간 동료의 일상적인 동지애를 대체할 수는 없습니다.

예를 들어 동반자 챗봇 사용 패턴과 외로움과의 관계에 대한 연구에 따르면 챗봇 사용 빈도와 외로움 또는 사회적 위축의 증가 사이에 유의미한 상관관계가 있는 것으로 나타났지만, 실제 소셜 네트워크가 강한 사용자에게는 그렇지 않은 것으로 나타났습니다. 소셜 네트워크가 강한 사용자는 일반적으로 챗봇과 상호작용이 적었을 뿐만 아니라 비슷한 소셜 지원이 없는 가벼운 사용자보다 훨씬 적은 문제를 경험했습니다. 이들은 일반적으로 챗봇을 관계의 대체물이 아닌 실용적인 목적과 여가를 위해 활용했습니다.¹⁰ 이러한 결과는 외롭고 고립되어 있으며 사회적으로 불안한 개인이 유명인이나 인플루언서와 준사회적 '관계'를 맺을 가능성이 높다는 준사회적 보상 가설과 일치합니다.¹¹

다행히도 이는 AI가 자체 문제에 대한 해결책이 될 수 있는 사례입니다. 회사의 생성형 AI 솔루션이 잠재력을 발휘하여 생산성을 향상한다면 실제 네크워크를 위한 시간이나 비용이 부족하지 않을 것입니다.