AI 시대의 개인정보 보호 문제 살펴보기

이는 혁신의 어려운 진실 중 하나로, 기술이 발전함에 따라 이를 사용하는 데 따르는 위험도 커지고 있습니다.

예를 들어, 데이터 수집 및 분석을 강화하는 도구는 개인 데이터와 민감한 정보가 의도하지 않은 곳에 표시될 가능성도 높입니다.

이러한 특정 위험인 개인정보 위험은 민감한 정보가 수집되어 AI 및 머신 러닝 시스템을 만들고 미세 조정하는 데 사용되는 인공 지능(AI) 시대에 특히 만연합니다. 그리고 정책 입안자들이 AI 사용과 관련된 개인정보 보호 규정으로 문제를 해결하기 위해 서두르면서 의사 결정을 위해 AI 기술을 사용하는 기업에 새로운 규정 준수 문제를 야기하고 있습니다.

개인정보 보호 및 규정 준수 문제에도 불구하고 기업은 생산성을 높이고 가치를 창출하기 위해 AI 모델을 계속 배포하고 있습니다. 오늘날 사회와 상거래에 영향을 미치는 AI 개인정보 보호 위험과 보호 장치에 대해 자세히 살펴보겠습니다.

AI 개인정보 보호는 AI가 수집, 사용, 공유 또는 저장하는 개인 정보 또는 민감한 정보를 보호하는 관행입니다.

AI 개인정보 보호는 데이터 개인정보 보호와 밀접한 관련이 있습니다. 정보 개인정보 보호라고도 하는 데이터 개인정보 보호는 개인이 자신의 개인 데이터를 제어해야 한다는 원칙입니다. 이 제어에는 조직이 데이터를 수집, 저장 및 사용하는 방법을 결정할 수 있는 기능이 포함됩니다. 그러나 데이터 개인정보 보호의 개념은 AI보다 훨씬 이전부터 존재했으며, 사람들이 데이터 개인정보 보호를 생각하는 방식은 AI의 출현과 함께 진화해 왔습니다.

"10년 전에 대부분의 사람들은 온라인 쇼핑과 관련하여 데이터 개인정보 보호에 대해 생각했습니다. 사람들은 '내가 무엇을 사는지, 무엇을 찾고 있는지 이 회사들이 안다는 사실에 대해 걱정이 되는지 저도 잘 모르겠어요. 솔직히 도움이 되기도 하거든요."라고 Stanford University Institute for Human-Centered Artificial Intelligence의 연구원 Jennifer King이 연구소 웹사이트에 게시된 인터뷰에서 설명했습니다.¹

King은 "하지만 이제 기업들이 AI 시스템을 학습하는 유비쿼터스 데이터 수집으로 전환하고 있다"며 "이는 사회 전반, 특히 시민의 권리에 큰 영향을 미칠 수 있다"고 말했습니다.

AI 개인정보 보호 문제는 데이터 수집, 사이버 보안, 모델 설계 및 거버넌스와 관련된 문제에서 비롯되는 경우가 많습니다. 이러한 AI 개인정보 보호 위험에는 다음이 포함됩니다.

• 민감한 데이터 수집
• 동의 없는 데이터 수집
• 허가 없이 데이터 사용
• 확인되지 않은 감시와 편견
• 데이터 유출
• 데이터 유출

AI가 이전의 기술 발전보다 더 큰 데이터 개인정보 보호 위험을 초래하는 한 가지 이유는 사용되는 정보의 양이 엄청나기 때문입니다. 테라바이트 또는 페타바이트의 텍스트, 이미지 또는 비디오가 학습 데이터로 일상적으로 포함되며, 이러한 데이터 중 일부는 의료 정보, 소셜 미디어 사이트의 개인 데이터, 개인 금융 데이터, 얼굴 인식에 사용되는 생체 인식 데이터 등 민감한 데이터일 수 밖에 없습니다. 그 어느 때보다 더 많은 민감한 데이터가 수집, 저장, 전송됨에 따라 적어도 일부 데이터가 개인정보 보호 권리를 침해하는 방식으로 노출되거나 배포될 가능성이 더 커졌습니다.

AI 개발을 위해 데이터 수집 대상의 명시적인 동의나 인지 없이 데이터를 확보할 경우 논란이 발생할 수 있습니다. 웹사이트 및 플랫폼의 경우, 사용자는 점점 더 자신의 데이터에 대한 더 많은 자율성과 데이터 수집과 관련하여 더 많은 투명성을 기대하고 있습니다. 이러한 기대는 최근 전문 네트워킹 사이트 LinkedIn의 일부 사용자가 자신의 데이터가 생성형 AI 모델 학습에 자동으로 사용되도록 설정된 것을 알게 된 후 이에 대해 반발하면서 표면화되었습니다.²

개인의 동의를 얻어 데이터를 수집하더라도 처음에 공개했던 목적과 다른 용도로 데이터를 사용할 경우 개인정보 보호 위험이 발생할 수 있습니다. "한 가지 목적으로 공유하거나 게시한 이력서나 사진 등의 데이터가 본인도 모르게, 또는 동의 없이 AI 시스템 학습용으로 용도가 변경되는 경우가 많습니다."라고 King은 말합니다. 예를 들어, 캘리포니아에서는 한 수술 환자가 자신의 치료와 관련된 사진이 AI 학습 데이터 세트에 사용된 것을 발견했다고 합니다. 환자는 의사가 사진을 촬영하도록 동의서에 서명했지만 데이터 세트에 포함되도록 동의하지는 않았다고 주장했습니다.³

공공 거리의 보안 카메라나 개인용 컴퓨터의 쿠키 추적 등 광범위하고 확인되지 않은 감시와 관련된 개인정보 보호 문제는 AI가 확산되기 훨씬 전부터 제기되었습니다. 그러나 AI 모델은 감시 데이터를 분석하는 데 사용되기 때문에 AI는 이러한 개인정보 보호 문제를 악화시킬 수 있습니다. 때때로 이러한 분석의 결과가 편향성을 보여줄 때 특히 피해를 줄 수 있습니다. 예를 들어, 법 집행 분야에서는 유색인종에 대한 부당한 체포가 AI 기반 의사 결정과 관련이 있는 경우가 많습니다.⁴

AI 모델에는 공격자가 거부할 수 없는 수많은 민감한 데이터가 포함되어 있습니다. IBM 보안 전문 엔지니어인 Jeff Crume은 최근 IBM 기술 비디오(ibm.com 외부 링크)에서 "이 [데이터]는 결국 누군가가 맞추고자 하는 큰 과녁이 될 것입니다."라고 설명했습니다. 악의적인 공격자는 다양한 전략을 통해 AI 애플리케이션에서 이러한 데이터 침해(데이터 도용)를 시도할 수 있습니다. 예를 들어, 프롬프트 인젝션 공격에서 해커는 악의적인 입력을 합법적인 프롬프트로 위장하여 생성형 AI 시스템을 조작함으로써 민감한 데이터를 노출시킵니다. 예를 들어 해커는 올바른 프롬프트를 사용하여 LLM 기반 가상 어시스턴트를 속여 개인 문서를 전달하도록 유도할 수 있습니다.

데이터 유출은 민감한 데이터가 실수로 노출되는 것을 말하며, 일부 AI 모델은 이러한 데이터 유출에 취약한 것으로 드러났습니다. 헤드라인을 장식한 한 가지 사례로, OpenAI의 대규모 언어 모델(LLM)인 ChatGPT는 일부 사용자에게 다른 사용자의 대화 기록 제목을 보여주었습니다.⁵ 소규모의 독점적인 AI 모델에도 위험은 존재합니다. 예를 들어, 고객의 데이터를 기반으로 자체적으로 AI 기반 진단 앱을 구축하는 의료 회사를 생각해 보세요. 해당 앱은 특정 프롬프트를 사용하는 다른 고객에게 고객의 개인 정보를 의도치 않게 유출할 수 있습니다. 이러한 의도치 않은 데이터 공유도 심각한 개인정보 침해로 이어질 수 있습니다.

기술 발전으로 인해 개인정보가 침해되는 것을 방지하기 위한 정책 입안자들의 노력은 적어도 1970년대로 거슬러 올라갑니다. 그러나 상용화된 데이터 수집의 급속한 성장과 AI의 배포로 인해 데이터 개인정보 보호법을 제정해야 할 필요성이 새롭게 대두되었습니다. 이러한 법률에는 다음이 포함됩니다.

GDPR은 통제자와 처리자가 개인 데이터를 처리할 때 따라야 하는 몇 가지 원칙을 설정합니다. 목적 제한의 원칙에 따라 기업은 수집하는 모든 데이터에 대해 구체적이고 합법적인 목적을 염두에 두어야 합니다. 또한 해당 목적을 사용자에게 전달하고 해당 목적에 필요한 최소한의 데이터만 수집해야 합니다.

기업도 데이터를 공정하게 사용해야 합니다. 또한 사용자에게 개인 데이터 처리에 대한 정보를 지속적으로 제공하고 데이터 보호 규칙을 준수해야 합니다. 저장 제한 원칙에 따라 기업은 목적이 달성될 때까지만 개인 데이터를 보관해야 합니다. 그리고 더 이상 필요하지 않은 데이터는 삭제해야 합니다.

AI에 대한 세계 최초의 포괄적 규제 프레임워크로 여겨지는 EU AI 법은 일부 AI 사용을 완전히 금지하고 다른 AI 사용에 대해서는 엄격한 거버넌스, 위험 관리 및 투명성 요구 사항을 구현합니다.

EU AI 법에는 AI 개인정보 보호에 대한 별도의 금지된 관행이 특별히 명시되어 있지는 않지만, 이 법은 데이터 사용에 대한 제한을 시행하고 있습니다. 금지된 AI 관행에는 다음이 포함됩니다.

• 얼굴 인식 데이터베이스를 위해 인터넷 또는 CCTV에서 얼굴 이미지를 목표 없이 스크래핑하는 행위 그리고
• 법 집행 기관이 공공장소에서 실시간 원격 생체 인식 시스템을 사용하는 경우(예외가 적용되고 사법 또는 독립 행정 기관의 사전 승인이 필요한 경우 제외)

고위험 AI 시스템은 훈련, 검증 및 테스트 데이터가 특정 품질 기준을 충족하도록 엄격한 데이터 거버넌스 관행을 채택하는 등 특정 요구 사항을 준수해야 합니다.

데이터 개인정보 보호에 관한 법률은 최근 몇 년 동안 여러 미국 관할 구역에서 발효되었습니다. 예를 들면 California Consumer Privacy Act 및 텍사스 데이터 개인정보 보호 및 보안법 등이 있습니다. 2024년 3월, 유타주는 AI 사용을 구체적으로 규율하는 최초의 주요 주 법령으로 간주되는 인공 지능 및 정책법을 제정했습니다.

연방 정부 차원에서 미국 정부는 아직 새로운 전국적인 AI 및 데이터 개인정보 보호법을 시행하지 않고 있습니다. 그러나 2022년 백악관 과학기술정책실(OSTP)은 'AI 권리장전을 위한 청사진'을 발표했습니다. 구속력이 없는 이 프레임워크는 AI 전문가가 데이터 사용에 대한 개인의 동의를 구하도록 권장하는 데이터 개인정보 보호 전용 섹션을 포함하여 AI 개발을 안내하는 5가지 원칙을 설명합니다.

중국은 AI 규정을 처음으로 제정한 국가 중 하나입니다. 2023년 중국은 생성형 인공 지능 서비스 관리를 위한 임시 조치를 발표했습니다. 이 법에 따라 생성형 AI 서비스의 제공 및 사용은 “타인의 합법적인 권리와 이익을 존중”해야 하며 “타인의 신체적, 정신적 상황을 위험에 빠뜨리지 않고 타인의 초상권, 평판권, 명예권, 프라이버시권 및 개인 정보권을 침해하지 않아야 한다”고 규정하고 있습니다.⁶

조직은 규정을 준수하고 이해관계자와의 신뢰를 구축하기 위해 AI 개인정보 보호 접근 방식을 고안할 수 있습니다.⁷ OSTP의 권장 사항은 다음과 같습니다.

• 위험 평가 실시
• 데이터 수집 제한
• 동의 요청 및 확인
• 보안 모범 사례 준수
• 민감한 도메인의 데이터에 대한 보호 강화
• 데이터 수집 및 저장에 대한 보고

개인정보 보호 위험은 AI 시스템의 개발 라이프사이클 전반에 걸쳐 평가되고 해결되어야 합니다. 이러한 위험에는 시스템 사용자는 아니지만 고급 데이터 분석을 통해 개인 정보를 유추할 수 있는 사람들에 대한 피해 가능성도 포함될 수 있습니다.

조직은 학습 데이터 수집을 합법적이며 '데이터가 수집되는 사람들의 예상에 부합하게' 사용하기 위한 것으로 제한해야 합니다. 이렇게 수집 데이터를 최소화하는 일 외에도 기업은 가능한 한 빨리 데이터를 삭제하는 것을 목표로 데이터 보존 일정을 수립해야 합니다.

조직은 대중에게 데이터에 대한 '동의, 액세스 및 제어'를 위한 메커니즘을 제공해야 합니다. 데이터 수집을 요청한 사용 사례가 변경되는 경우 동의를 다시 얻어야 합니다.

조직이 AI를 사용하는 경우 데이터 및 메타데이터의 유출을 방지하기 위해 모범 사례를 따라야 합니다. 이러한 관행에는 암호화, 익명화 및 액세스 제어 메커니즘을 사용하는 것이 포함될 수 있습니다.

특정 도메인의 데이터는 추가 보호를 받아야 하며 "좁게 정의된 컨텍스트"에서만 사용해야 합니다. 이러한 "민감한 영역"에는 상황, 고용, 교육, 형사 사법 및 개인 금융이 포함됩니다. 나열된 도메인 중 하나에 속하지 않더라도 아동에 의해 생성되거나 아동에 대해 생성된 데이터도 민감한 데이터로 간주됩니다.

조직은 AI 시스템에서 어떤 데이터가 사용되고 있는지 확인하려는 개인의 요청에 응답해야 합니다. 또한 조직은 사람들의 데이터가 어떻게 사용, 액세스 및 저장되는지에 대한 일반 요약 보고서를 대중에게 선제적으로 제공해야 합니다. 민감한 도메인의 데이터와 관련하여 조직은 데이터 유출을 일으킨 보안 결함 또는 침해도 보고해야 합니다.

데이터 거버넌스 툴과 프로그램은 기업이 OSTP 권장 사항과 기타 AI 개인정보 보호 모범 사례를 따르는 데 도움이 될 수 있습니다. 기업은 다음과 같은 목적으로 소프트웨어 툴을 배포할 수 있습니다.

• 사용하는 모델에 대한 개인정보 위험 평가 수행
• 데이터 자산 및 개인정보 보호 평가 상태에 대한 정보가 포함된 대시보드 만들기
• 개인정보 보호 책임자와 데이터 소유자 간의 협업을 포함한 개인정보 문제 관리 지원
• 학습 데이터 익명화, 데이터 암호화, 머신 러닝 알고리즘에 사용되는 데이터 최소화 등의 접근 방식을 통해 데이터 개인정보 보호 강화(자세히 보기)

AI 및 데이터 개인정보 보호 법률이 발전함에 따라 새로운 기술 솔루션을 통해 기업은 규제 변화를 따라잡고 규제 기관이 감사를 요청할 경우에 대비할 수 있습니다. 최첨단 솔루션은 규제 변경 사항을 자동으로 식별하고 시행 가능한 정책으로 변환합니다.