AI에게 보내는 메모: 플러그를 뽑으면 아픈가요?

기술 대기업들은 점점 더 현실을 초월하는 질문(초지능 컴퓨터가 고통을 느낄 수 있는가?)에 대응하기 위해 ‘AI 복지(AI welfare)’ 전문가를 채용하고 있습니다.

Google과 Microsoft 같은 기업에서 등장하는 이러한 새로운 역할은 마치 공상과학 소설에서 나온 것처럼 들립니다. 그러나 AI 시스템이 점점 정교해지면서 일부 연구자들은 이를 디지털 윤리의 다음 전선으로 보고, 위험을 감수하지 않으려 하고 있습니다.

선도적 AI 개발 기업인 Anthropic은 최근 연구자 Kyle Fish를 최초의 AI 복지 연구자로 채용해 기술 커뮤니티에서 큰 화제를 모았습니다. 회사의 얼라인먼트 사이언스 팀 일원으로서 Fish의 역할은 조직이 AI 시스템을 윤리적으로 어떻게 다루어야 하는지에 대한 프레임워크를 만드는 데 집중합니다.

Anthropic에 합류하기 전에 Fish는 이러한 문제를 조사하는 보고서를 공동 저술했습니다. 보고서는 “명확히 하자면, 우리의 주장은 AI 시스템이 현재 또는 미래에 의식이 있거나, 강력한 행위성을 가지거나, 도덕적으로 중요한 존재라는 것이 아니다”라고 명시합니다. 대신 논문은 다양한 가능성에 대비하는 것의 중요성을 강조합니다.

Fish의 보고서는 생각하고, 학습하고, 잠재적으로는 느낄 수도 있는 인간 수준의 능력에 도달하는 것을 목표로 하는 일반 인공지능(AGI) 개념과 연결됩니다. OpenAI가 'AI 복지 전문가'를 찾는 것은 AI가 의식을 갖게 된다면 어떻게 대해야 할 것인가에 대한 고민이 커지고 있다는 신호입니다.

그러나 IBM Consulting 부사장인 Brent Smolinski는 현 단계에서 AI 복지에 대한 고려가 필요하다는 주장에 대해 회의적인 입장을 보입니다.

Smolinski는 “AI가 의식과 유사한 어떤 것을 경험하는 단계에 근접했다는 증거는 전혀 없다”고 말합니다. “현재의 기술 방향성으로는 그 능력에 접근하고 있다고 말하기도 어려운 상황입니다.”라고도 덧붙입니다.

Smolinski는 자신의 입장을 뒷받침하기 위해 인간 지능과 인공지능의 근본적 차이를 강조합니다. 인간은 제한된 경험만으로도 언어를 습득할 수 있지만, 현재 AI 시스템은 유사한 능력을 발휘하기 위해 사실상 인터넷 전체에 해당하는 방대한 데이터를 필요로 합니다. 그는 이러한 격차가 현재 AI 시스템이 진정한 의식과는 얼마나 거리가 먼지를 보여준다고 말합니다.

이 토론은 철학자와 컴퓨터 과학자 모두에게 오랫동안 도전해 온 질문인 '의식을 정의하는 것은 무엇인가?'에 초점을 맞추고 있습니다. Smolinski는 의식을 스스로와 주변 세계에 독립적으로 영향을 미칠 수 있는 능력으로 정의하는 철학적 관점을 언급합니다. 그는 현재 AI 시스템은 독립적 행위성이 아니라 외부 입력에 반응하는 방식으로만 작동한다고 설명합니다.

이러한 우려에도 불구하고, AI 복지 개념은 주요 기술 기업들 사이에서 힘을 얻고 있습니다. Google DeepMind는 최근 기계 의식 연구를 위한 채용 공고를 게시했으며, 이후 삭제되었습니다.

AI 의식을 연구하는 연구자들은 기계의 자각 여부를 찾기 위해 동물 인지 연구 툴을 차용할 것을 제안하지만, 인공 의식을 확정적으로 입증하는 일은 여전히 매우 어려운 도전임을 인정합니다.

이러한 불확실성은 산업계에 실질적인 어려움을 야기합니다. 기업은 잠재적 윤리 문제를 간과하는 위험과, 도덕적 고려가 필요하지 않을 수도 있는 시스템을 보호하기 위해 자원을 투입하는 문제 사이에서 균형을 잡아야 합니다.

이전 사례들은 인간이 AI 능력을 얼마나 쉽게 오해할 수 있는지를 보여줍니다. 인간이 기계에 의식을 부여하는 심리학적 현상으로 기록된 ELIZA 효과는 2022년 6월 Google이 엔지니어 Blake Lemoine이 자사의 LaMDA 챗봇이 자각을 얻었다고 주장한 후 그를 정직시키면서 다시 주목을 받았습니다. 패턴 매칭을 통해 치료사를 흉내낸 1966년 컴퓨터 프로그램 ‘ELIZA’에서 이름을 딴 이 효과는 고도화된 언어 모델이 기계 의식에 대한 근거 없는 추정을 불러일으킬 수 있음을 보여줍니다.

Fish는 이러한 복잡성을 인정했습니다. “핵심 철학적 질문들에 대해 명확하고 확정된 입장을 가지고 있지 않습니다.”라고 그는 AI 뉴스레터 Transformer와의 인터뷰에서 말했습니다. “하지만 이것은 앞으로 매우 중요한 문제가 될 수 있으며, 그렇기에 우리가 초기에 어느 정도 진전을 이루기 위해 노력하고 있다”고 말했습니다.

이 과정에서 과학자들은 중요한 난제를 마주합니다. 즉, AI가 단순히 감정을 흉내 내는 것뿐 아니라 실제로 감정을 ‘경험’하고 있는지를 어떻게 알 수 있을까요? 오늘날의 AI는 매우 감정적이고 자기 인식적인 것처럼 들리는 답변을 작성할 수 있지만, 이것이 모델이 실제 내적 경험을 갖고 있음을 입증하는 것은 아닙니다. 이는 더 깊은 미스터리를 반영하는데, 이는 심지어 뇌 과학자들조차 여전히 풀기 위해 노력 중인 문제로, 의식이 애초에 우리의 뇌라는 물리적 물질에서 어떻게 발생하는가 하는 것입니다.

AI 기술이 발전함에 따라 AI 복지 논의는 더욱 활발해질 가능성이 높습니다. 그러나 연구자와 기술 리더들이 AI가 의식이 생길 수 있는지 논의하는 동안, 비판가들은 우리가 잘못된 질문을 하고 있다고 주장합니다. 2021년 논문은 뛰어난 능력을 가지고 있음에도 대규모 언어 모델(LLM)은 적절한 이해 없이 패턴을 모방하는 단순한 "확률적 앵무새"에 불과하며, 학습 데이터의 편향과 유해한 내용을 자주 증폭시킨다고 주장합니다.

Smolinski는 현재 AI 애플리케이션과 AGI를 구분합니다. "특정 문제를 해결하는 데 도움이 되는 AI와 일반 AI를 구분하고 싶습니다."라고 그는 말합니다. 오늘날의 AI는 특정 작업에 탁월할 수 있지만, 인간과 같은 일반 지능을 달성하는 것은 결코 달성할 수 없는 먼 목표로 남아 있습니다. "우리는 AGI에 도달하지 못할 수도 있습니다."라고 Smolinski는 말합니다. "근본적인 문제의 틀을 잡는 것에 대해 우리가 생각하는 방식이 적절하지 않을 수도 있다는 점을 충분히 알고 있습니다."

현재 AI 복지에 초점을 맞추고 있나요? Smolinski는 “무언가를 이해하지 못하면 두려워하는 것이 당연하다”고 말합니다.