AI 안전이란 무엇인가요?

안전한 인공 지능(AI) 시스템을 구축하는 것은 AI의 보급과 영향력이 증가함에 따라 기업과 사회가 중요하게 고려해야 할 사항입니다. AI 안전은 AI 시스템을 최대한 책임감 있게 사용하고 AI의 미래가 인간의 가치를 염두에 두고 개발되도록 도와줍니다.

안전한 AI를 개발하고 유지하기 위해서는 잠재적 AI 위험(예:편향, 데이터 보안, 외부 위협에 대한 취약성)을 식별하고 이러한 위험을 방지하고 완화하기 위한 프로세스를 만들어야 합니다. 예를 들어, 편향 완화, 견고성 테스트, 윤리적 AI 프레임워크와 같은 AI 안전 조치는 모두 기업이 조직 내에서 AI 툴을 책임감 있게 개발하고 사용하는 데 도움이 될 수 있습니다.

AI 시스템이 더욱 정교해지면서 이는 사람들의 삶과 인프라, 금융, 국가 안보와 같은 중요한 실생활 영역에 더욱 깊숙이 통합되고 있습니다. 이러한 기술은 이를 사용하는 조직과 사회 전체에 긍정적인 영향과 부정적인 영향을 모두 미칠 수 있습니다.

AI의 부정적인 영향에 대한 우려가 커지고 있습니다. 2023년 설문조사에 따르면 미국인의 52%는 인공 지능의 사용 증가에 대해 기대보다는 우려를 나타냈습니다.¹ 또 다른 조사에서는 83%가 AI가 실수로 재앙적인 사건으로 이어질 수 있다고 우려했습니다.²

다른 연구에 따르면 이러한 우려가 근거가 없는 것은 아닙니다. 2024년 보고서에 따르면 설문조사 응답자의 44%는 조직이 AI 사용으로 인해 부정확성 또는 사이버 보안 문제와 같은 부정적인 결과를 경험했다고 답했습니다.³ 안전에 대한 노력은 종종 사후 고려 사항으로 취급됩니다. AI 안전 센터의 2023년 영향 보고서에 따르면 기술 연구의 3%만이 AI를 더 안전하게 만드는 데 중점을 두고 있습니다.⁴

사회 전반적으로 공공의 안전, 개인정보 보호, 기본권 보호를 위해 AI 안전 조치가 필요합니다. 편향되거나 불투명하거나 인간의 가치와 일치하지 않는 AI 시스템은 사회적 불평등을 지속하거나 증폭시킬 수 있습니다.

전문가들은 또한 일부 고급 AI 시스템이 인간과 비슷하거나 더 지능적으로 발전할 수 있다고 우려합니다. 인공 일반 지능(AGI)은 인간과 같은 방식으로 이해하고 학습하며 사고 작업을 수행하는 잠재적인 AI 시스템을 말합니다. 인공 초지능(ASI)은 인간보다 더 발달된 지적 범위와 인지 기능을 갖춘 가상의 AI 시스템을 말합니다. AGI와 ASI의 발전은 이러한 시스템이 인간의 가치에 부합하지 않거나 인간의 감독을 받지 않을 경우 위험할 수 있다는 우려를 불러일으킵니다. 비평가들은 이러한 시스템이 지나치게 자율적이어서 인류에게 실존적 위협이 될 수 있다고 말합니다.

비즈니스 관점에서 안전한 AI는 소비자의 신뢰를 구축하고 법적 책임을 방지하며 잘못된 의사결정을 방지하는 데 도움이 됩니다. AI 사용이 기업의 가치에 부합하도록 조치를 취하는 조직은 자신과 고객에게 부정적인 결과를 초래하는 것을 피할 수 있습니다.

AI 위험은 여러 유형으로 분류할 수 있으며, 각 유형별로 서로 다른 AI 안전 조치와 위험 관리 노력이 필요합니다.

• 편향성과 공정성
• 개인 정보 보호
• 통제력 상실
• 실존적 위험
• 악의적 오용
• 사이버 보안

AI 시스템은 사회적 편견을 영속화하거나 증폭시킬 수 있습니다. 알고리즘 편향은 불완전하거나 오해의 소지가 있는 데이터와 입력으로 AI를 학습시킬 때 발생합니다. 이는 불공정한 의사 결정으로 이어질 수 있습니다. 예를 들어, 차별적인 데이터로 학습된 AI 툴은 특정 배경을 가진 지원자의 모기지 대출을 승인할 가능성이 낮거나 여성 지원자보다 남성 구직자를 채용할 것을 추천할 가능성이 더 높을 수 있습니다.

AI 시스템은 개인 데이터에 부적절하게 액세스하거나 노출 또는 오용할 가능성이 있어 개인정보 보호 문제를 일으킬 수 있습니다. 민감한 데이터가 유출되면 AI 시스템의 제작자나 사용자가 책임을 져야 할 수도 있습니다.

고급 AI 시스템, 특히 자율 에이전트로 작동하도록 구축된 시스템의 결과는 예측할 수 없습니다. 이들의 행동은 해로울 수도 있습니다. 그들이 독립적으로 결정할 수 있다면 중단하기 어려울 수 있습니다. 인간이 통제할 수 있는 요소가 없으면 부적절하게 작동하는 AI 시스템에 개입하거나 종료하는 것이 불가능할 수 있습니다.

AGI, ASI 및 기타 고도로 발전된 AI 시스템은 잘못 관리될 경우 잠재적으로 인류를 위험에 빠뜨리거나 글로벌 시스템을 혼란에 빠뜨리는 방식으로 행동할 수 있습니다. 군비 경쟁과 유사한 AI 경쟁의 위험은 지정학적 안정성을 위험에 빠뜨립니다.

AI는 대규모 사회 조작이나 사이버 전쟁에도 악용될 수 있습니다. 2023년 비영리 단체인 AI 안전 센터(CAIS)는 다양한 AI 연구자 및 리더들의 지지를 받아 한 문장으로 된 성명서를 발표했습니다. "AI로 인한 멸종 위험을 완화하는 것은 전염병 및 핵전쟁과 같은 다른 사회적 규모의 위험과 함께 전 세계적인 우선순위가 되어야 합니다."⁵

의도하지 않은 결과와 오류는 AI 위험으로부터 비롯되지만, 악의적인 행위자가 의도적으로 기술을 사용하여 피해를 입힐 수도 있습니다. AI는 사이버 공격, 허위 정보 유포, 불법 감시 또는 심지어 신체적 피해를 입히는 무기가 될 수 있습니다. 이러한 위협은 개인적 수준과 사회적 수준 모두에 존재합니다.

AI 시스템은 보안 문제에 취약할 수 있습니다. 이는 악의적인 공격자가 데이터 입력을 조작하여 모델을 속이고 잘못된 아웃풋을 유도하는 악의적인 공격의 가능성에 직면해 있습니다.

예를 들어, AI 탈옥은 해커가 프롬프트 인젝션 및 기타 기술을 사용하여 AI 시스템의 취약점을 악용하고 제한된 작업을 수행할 때 발생합니다. 데이터 중독은 손상된 학습 데이터로 인해 AI 동작이 왜곡될 때 발생합니다. 무단 액세스 및 기타 취약성 또는 보안 위험으로 인해 AI 시스템과 데이터가 오용될 수 있습니다.

AI 안전과 AI 보안은 관련이 있지만 인공 지능에서 서로 다른 측면을 담당합니다. AI 안전은 내재된 문제와 의도하지 않은 결과를 해결하는 것을 목표로 하는 반면, AI 보안은 외부 위협으로부터 AI 시스템을 보호하는 데 중점을 둡니다.

AI 안전은 AI를 인간의 가치와 연결하고 AI 시스템이 비즈니스와 사회에 부정적인 영향을 미칠 가능성을 줄이기 위해 노력합니다. 이는 인간의 가치와 목표를 AI 모델에 인코딩하는 과정인 AI 정렬을 강조합니다.

AI 보안은 사이버 공격 및 데이터 유출과 같은 외부 위협으로부터 AI 시스템을 보호하는 것입니다. 여기에는 AI 모델의 기밀성과 무결성을 보호하는 것이 포함됩니다. AI 보안은 인공 지능을 활용하여 조직의 보안 태세를 강화하는 것을 의미할 수도 있습니다. 이 정의에는 잠재적 위협을 예측하고 해결하기 위해 AI와 머신 러닝(ML)을 사용하는 것도 포함됩니다.

AI 리더와 기업은 AI 기술의 책임감 있는 개발과 사용을 지원하기 위해 다양한 관행을 구현하고 있습니다. AI 안전 조치에는 다음이 포함됩니다.

• 알고리즘 편향성 감지 및 완화
• 견고성 테스트 및 검증
• 설명 가능한 AI(XAI)
• 윤리적 AI 프레임워크
• 인간 감독
• 보안 프로토콜
• 업계 전반의 협업

알고리즘은 학습된 데이터에 존재하는 편견을 지속하거나 증폭시킬 수 있습니다. 이러한 문제를 해결하기 위해 기업들은 알고리즘 편향을 해결하기 위한 노력에 투자하고 있습니다. 다양한 데이터 세트 수집, 알고리즘 공정성 평가 및 편향성 제거 방법과 같은 기술은 잠재적인 문제를 식별하는 데 도움이 됩니다.

엄격한 테스트 및 검증 프로세스는 AI 시스템이 위험을 견디고 기술적 위험을 식별할 수 있도록 도와줍니다. 적대적 테스트, 스트레스 테스트, 공식 검증과 같은 기술은 AI 툴과 모델이 의도한 대로 작동하고 바람직하지 않은 행동을 보이지 않도록 보장하는 데 도움이 됩니다.

많은 AI 모델, 특히 대규모 언어 모델(LLM)은 사람이 해석하기 어려운 결정을 내리는 '블랙박스'입니다. 의사 결정 프로세스가 투명하지 않으면 사용자는 결과와 권장 사항을 신뢰할 가능성이 낮아집니다. 설명 가능한 AI(XAI)는 복잡한 AI 시스템의 이면에 있는 불투명한 프로세스를 명확히 하고, 해석 가능성에 초점을 맞춰 결과에 도달하는 방법을 보여주는 것을 목표로 합니다.

많은 조직에서 AI 시스템의 개발과 사용을 안내하는 윤리적 AI 프레임워크를 보유하고 있습니다. 이러한 프레임워크 및 관련 벤치마크에는 일반적으로 투명성, 공정성, 책임성 및 개인정보 보호와 같은 원칙이 포함됩니다. 이는 AI 툴을 사용하고 개발하기 위한 가드레일을 제공합니다.

자동화는 많은 기업에서 AI의 매력 중 하나이지만 안전상의 이유로 인간의 제어를 유지하는 것이 중요합니다. 이는 인간 운영자가 AI 시스템의 성능을 모니터링하고, 필요할 때 개입하며, 중요한 상황에서 최종 결정을 내리도록 하는 것을 의미합니다. 휴먼 인 더 루프 접근 방식은 실제 사람이 AI 시스템의 행동에 책임을 지도록 하는 데 도움이 됩니다.

암호화, 액세스 제어 및 이상 징후 탐지와 같은 강력한 보안 조치를 구현하면 AI 시스템을 오용 또는 무단 액세스로부터 보호하는 데 도움이 됩니다. 또한 기업은 AI 시스템의 무결성을 손상시킬 수 있는 사이버 공격 및 사이버 위협으로부터 보호하기 위해 사이버 보안 조치에 투자할 수도 있습니다.

AI 안전은 연구자, 업계 리더 및 정책 입안자 간의 협력이 필요한 복잡하고 진화하는 분야입니다. 많은 기업이 지식, 모범 사례 및 교훈을 공유하기 위해 업계 컨소시엄, 연구 이니셔티브 및 표준화 노력에 참여하고 있습니다. AI 커뮤니티는 서로 협력하여 더욱 견고하고 신뢰할 수 있는 안전 조치를 개발할 수 있습니다.

AI 안전 연구는 많은 이해관계자가 공동으로 노력하고 있습니다.  

AI 안전은 AI 시스템의 설계, 구축, 테스트를 담당하는 개발자와 엔지니어로부터 시작됩니다. AI의 목표를 인간의 가치에 맞추는 방법, 투명하고 설명 가능한 모델을 만드는 방법과 같은 근본적인 질문에 집중할 수 있습니다. 또한 이들은 모델과 툴을 테스트하고 검증하여 의도한 대로 작동하는지 확인하는 역할도 담당합니다.

IBM, OpenAI, Google DeepMind, Microsoft, Anthropic 등을 포함하여 AI 개발을 선도하는 기업들은 AI 안전 노력의 최전선에 서 있습니다. 이들은 전담 AI 안전 팀에 투자하고, 윤리적 지침을 수립하고, 책임감 있는 AI 원칙을 준수하여 유해한 결과를 방지합니다.

일부 기업에서는 편향성 탐지 도구와 사람의 감독을 허용하는 시스템 등 연구와 배포 단계 모두에서 위험을 해결하기 위한 프레임워크와 프로토콜을 만들기도 합니다. 또한 많은 기업이 업계 연합에서 협력하여 지식을 공유함으로써 업계 전반의 AI 안전 표준을 설정하고 있습니다.

보다 광범위한 AI 거버넌스 노력은 글로벌 AI 안전 조치의 핵심 부분입니다. 유엔, 세계경제포럼, 경제협력개발기구(OECD) 등 국제기구는 AI 윤리 및 안전에 초점을 맞춘 이니셔티브를 주도하고 있습니다. 전 세계 각국 정부에서도 AI 안전 규칙과 규정을 만들고 있습니다.

미국에서는 미국 국립표준기술연구소(NIST) 산하의 인공 지능 안전 연구소(AISI)가 안전 문제를 해결하기 위해 노력하고 있습니다. 이들은 연구 발전 및 위험 완화 개발과 같은 우선순위에 초점을 맞추고 있습니다.

유럽연합의 경우, EU AI 법에는 다양한 안전 기준과 가이드라인, 위반 시 처벌 규정이 포함되어 있습니다. 이와 별도로 영국은 안전한 AI 개발을 촉진하기 위해 AI 안전 연구소를 설립했습니다. 싱가포르, 일본, 캐나다를 포함한 다른 여러 국가에서도 공공 안전에 중점을 두고 연구를 수행하고 개발 및 규제를 알리기 위해 AI 안전 기관을 만들고 있습니다.

비정부조직(NGO), 싱크탱크 및 기타 그룹의 정책 입안자와 연구원은 안전 문제를 해결하기 위해 노력합니다. 이들은 국가 안보, 인권 및 입법 정책의 문제를 고려하고 AI 개발이 사회적 가치 및 관심사에 부합하도록 도울 수 있는 방법을 권장합니다. 이들은 위험에 대한 인식을 높이고, 윤리적 지침을 설정하고, 투명성을 높이고, 책임감 있는 연구를 장려합니다.

주요 AI 안전 비영리 및 옹호 단체에는 다음과 같은 단체가 있습니다.

• Center for AI Safety: CAIS는 샌프란시스코에 있는 비영리 단체로, AI와 관련된 사회적 규모의 위험을 줄이기 위한 연구를 수행하고 학습 자료(예: 교과서)를 제작합니다.
  
  
• Center for Human-Compatible AI: CHAI는 버클리 캘리포니아 대학교의 연구 센터로, 강화 학습 및 가치 학습 연구를 포함하여 AI 안전에 관한 연구를 수행합니다.
  
  
• Stanford Institute for Human-Centered Artificial Intelligence: 스탠포드 대학교에 기반을 둔 이 조직은 인간 중심의 AI 개발과 안전, 신뢰, 책임의 가치를 목표로 연구와 옹호를 추구합니다.
  
  
• Machine Intelligence Research Institute: MIRI는 신뢰할 수 있는 AI와 AI 정렬의 기술적 과제에 초점을 맞춘 연구 그룹입니다.
  
  
• Partnership on AI: 연구, 공공 정보 및 기타 작업을 통해 책임감 있는 AI 관행을 장려하는 학계 및 산업계의 협업 조직입니다.
  
  
• Future of Life Institute: 이 비영리 단체는 연구와 옹호를 통해 첨단 AI 개발과 관련된 실존적 위험을 줄이기 위해 노력합니다.
  
  
• AI Safety Initiative by the Cloud Security Alliance: CSA의 연합은 조직이 안전하고 책임감 있고 윤리적인 AI 솔루션을 배포할 수 있도록 지원하는 지침과 툴을 만들기 위해 노력합니다.