AI 및 머신 러닝 데이터 프라이버시 가이드

AI 시스템은 학습 과정에서 방대한 데이터 세트를 통해 학습합니다. 많은 모델이 학습에 사용하는 Common Crawl 데이터 세트는 9.5페타바이트 이상의 데이터를 포함하고 있습니다.¹ AI를 매일 사용하는 많은 사람은 자신의 프라이버시가 침해당하고 있다는 사실을 제대로 인지하지 못한 채 시스템에 민감한 데이터를 입력하고 있을 가능성이 높습니다. AI 배포가 AI 에이전트 시대로 확장됨에 따라 적절한 액세스 제어 또는 AI 거버넌스가 없는 경우 새로운 유형의 프라이버시 침해가 발생할 수 있습니다.

AI 모델은 단순히 더 많은 데이터를 처리하는 것이 아니라, 레거시 시스템과 다른 방식으로 데이터를 처리합니다. 기존 소프트웨어에서 실수로 민감한 정보가 노출된 경우 엔지니어가 들어가서 코드를 디버깅할 수 있습니다. 하지만 AI 모델(ChatGPT와 같은 대규모 언어 모델 포함)은 코딩으로 만들어지는 것이 아니라 머신 러닝이라는 과정을 통해 진화하도록 만들어집니다. 제작자는 모델이 어떻게 작동하는지 정확히 알지 못하기 때문에 '디버깅'이란 불가능하지는 않더라도 사소한 일이 아닙니다.

우발적인 아웃풋도 우려되는 카테고리 중 하나지만, 조직은 고의적이고 악의적인 공격도 경계해야 합니다. 연구자들은 AI 툴에 영리한 해커가 악용할 수 있는 새로운 유형의 취약점이 있다는 사실을 입증했으며, 이를 적대적 머신 러닝이라고 합니다. 

예를 들어, 최근 몇 년 동안 사이버 보안 전문가들은 AI 모델의 한 가지 단점, 즉 학습한 데이터에 응답할 때 아웃풋에 더 높은 신뢰도 점수가 부여된다는 점을 악용함으로써 악의적인 행위자가 특정 데이터가 학습 세트에 포함되어 있는지 추론할 수 있다는 사실을 입증했습니다. 특정 시나리오에서 이러한 추론은 중대한 프라이버시 침해가 될 수 있습니다. 예를 들어, HIV 양성 환자의 개인 의료 기록을 학습한 것으로 알려진 AI 모델을 생각해보세요.

잘 알려진 또 다른 예로, 연구자들은 단순히 데이터가 학습 세트에 있는지 여부를 추론하는 데 그치지 않았습니다. 그들은 모델 학습에 사용된 실제 데이터를 효과적으로 리버스 엔지니어링할 수 있는 알고리즘 공격을 만들었습니다. 연구원들은 '그래디언트'로 알려진 AI 모델의 한 측면을 활용하여 노이즈로 가득 찬 이미지를 반복적으로 개선하여 얼굴 인식 모델 학습에 사용된 실제 얼굴에 근접한 이미지로 만들 수 있었습니다. ²

데이터 보호에 대한 우려는 여전히 높습니다. IBM의 2025 데이터 유출 비용(CODB) 보고서에 따르면 이러한 침해로 인한 평균 비용은 440만 달러입니다. (이러한 침해는 회사 브랜드에 대한 대중의 신뢰 손상이라는 형태로 일어나, 비용을 정량화하기 어려운 결과도 초래합니다.)

이러한 데이터 침해 중 상당수는 AI와 관련이 없지만 점점 더 많아지고 있습니다. 스탠포드의 2025 AI 인덱스에 따르면 2024년에는 AI 프라이버시 및 보안 인시던트가 233건이 보고되어 1년 동안 56.4% 증가한 것으로 나타났습니다.³

전 세계 정책 입안자들은 AI 기술이 결코 기본적인 프라이버시 보호의 책임에서 면제되어서는 안 된다고 주장해 왔습니다. 오랫동안 개인 데이터 취급의 기준으로 여겨져 온 유럽 연합의 일반 데이터 보호 규정(GDPR)은 (관할 구역에 관계없이) 기업의 AI 시스템 사용에도 적용됩니다. GDPR의 원칙에는 데이터 최소화(목적에 필요한 최소한의 데이터만 수집), 투명성(사용자에게 데이터 사용 방법 알림), 저장 제한(데이터를 필요 이상으로 저장하지 않음)이 포함됩니다.

2024년은 이 분야에서 획기적인 해로, 여러 규제 기관이 AI 애플리케이션 관련 사례에 개인정보 보호법을 시행하기 시작했습니다.

예를 들어, 2024년 아일랜드 데이터 보호 위원회는 AI 관련 프라이버시 침해로 소셜 미디어 네트워크 LinkedIn에 3억 1천만 유로의 벌금을 부과했습니다. LinkedIn은 사용자가 게시물에 얼마나 오래 머무르는지 등 미묘한 사용자 행동을 추적했습니다. 그런 다음 이 사이트는 AI를 사용하여 이러한 사용자에 대한 추론(예: 사용자가 얼마나 적극적으로 새 일자리를 찾았는지, 번아웃 위험이 높은지 등)을 도출했습니다. 그런 다음 이 프로파일링을 사용하여 광고를 타겟팅하고 특정한 내부 LinkedIn 순위 시스템을 업데이트했습니다.

아일랜드 위원회는 결국 익명화되어 있는 것처럼 보이지만, 이러한 AI 기반 추론은 궁극적으로 식별 가능한 개인의 데이터로 역추적될 수 있으며, 이는 데이터 개인정보 보호법에 위배될 수 있다고 판단했습니다. 법원은 LinkedIn이 GDPR의 목적 제한 원칙을 준수하지 않았고 사용자의 사전 동의도 얻지 않아 소비자 프라이버시를 침해했다고 판결했습니다. 이 판결로 인해 LinkedIn은 실시간 동의 메커니즘을 구현하고 광고 개인화 설정의 기본값을 수정해야 했습니다.⁴

또한 2024년에 안면 인식 회사인 Clearview AI를 상대로 한 법 집행 기관의 조치는 생체 인식 데이터(예: 얼굴 사진)가 기술적으로 공개되어 있더라도(예: 보안되지 않은 소셜 미디어 계정에 있는 데이터) 추가적인 프라이버시 문제를 야기할 수 있다는 원칙을 보여주었습니다.

Clearview는 Facebook과 Instagram과 같은 사이트에서 300억 개의 이미지를 스크랩했으며, 사진은 온라인에 공개되어 있어 사용자의 허가가 필요하지 않다고 주장했습니다. 이 대규모 데이터 수집 작업은 Clearview가 AI 기반 얼굴 인식 데이터베이스를 개발하는 데 도움이 되었습니다.

네덜란드 법 집행 당국은 Clearview의 접근 방식을 비난했습니다. 네덜란드 데이터 보호 당국은 Clearview의 데이터 수집에 포함된 네덜란드 시민의 개인 권리가 침해되었다고 간주하여 결국 회사에 3,050만 유로의 벌금을 부과했습니다.⁵

마지막으로 2024년에 유럽 연합은 같은 해 8월에 시행된 AI 법을 통해 AI 관련 규제를 확대했습니다. 이 법의 권한은 AI 관련 데이터보다 광범위하며, 더 광범위하게는 AI 및 AI 개발 위험까지 확장됩니다). 그러나 많은 조항이 데이터 보안, 데이터 공유 및 데이터 거버넌스를 다룹니다. 한 가지 두드러진 예를 들자면, 이 법은 인종, 종교 또는 성적 지향과 같은 민감한 속성에 따라 개인을 식별하기 위해 데이터 및 AI 모델을 사용하는생체 인식 시스템을 금지합니다.

급변하는 환경에서 혁신을 수용해야 할 필요성과 책임감 있게 혁신을 수행해야 하는 필요성 사이의 긴장이 팽팽해 보이는 지금, 기업은 이러한 균형을 맞추기 위해 어떤 조치를 취할 수 있을까요? 이 주제에 관해서는 여러 권의 책을 쓸 수도 있을 만큼 방대하지만, 기업은 책임감 있게 AI를 구현하는 데 있어 몇 가지 원칙을 지침으로 삼을 수 있습니다.

AI 모델 라이프사이클의 여러 단계에서 데이터가 수집, 처리, 생성되는 경우 기존의 데이터 보안 패러다임으로는 충분하지 않습니다. 데이터 관리자, 규정 준수 전문가 및 기타 이해관계자가 학습 데이터의 무결성에 주의를 기울여야 하며, 이상적으로는 프라이버시 위험에 대한 감사를 수행해야 합니다. 한 회사는 Common Crawl 데이터 세트에서 12,000개의 API 키와 비밀번호를 찾았다고 주장합니다.⁶

기업의 활동에서 생성된 빅데이터 사용에 관해서는, GDPR과 관련 개인정보 보호 규정과 같은 기준이 유용한 지침이 될 수 있습니다.

AI는 매우 활발한 분야로 거의 매일 새로운 연구가 이루어지고 있습니다. 사이버 보안 전문가는 최신 기술 발전을 샅샅이 파악하는 것이 중요하며, 위협 행위자가 취약점을 악용하기 전에 패치를 적용하는 것이 좋습니다.

기업은 연합 학습, 차등 프라이버시, 합성 데이터 등의 프라이버시 강화 기술을 사용할 수 있습니다. 늘 그렇듯이, 사람과 AI 에이전트 모두의 무단 접근을 방지하기 위해 강력한 엑세스 제어를 요구할 수 있습니다.

점점 더 많은 기업들이 생성형 AI 및 기타 AI 기술을 사용하여 의사 결정을 자동화함에 따라, 경영진은 '데이터'의 개념이 모호해질 수 있는 AI 기반 관행에 개인정보 보호 관점을 적용해야 합니다. 이 원칙은 앞서 언급한 LinkedIn 판결에 잘 나타나 있습니다. 특정 상황에서는 데이터 패턴을 기반으로 추론하는 것이 익명화된 것처럼 보일 수 있지만, 여전히 GDPR 및 관련 규정에 위배될 수 있습니다.

AI가 패턴을 발견하는 데 더욱 강력해짐에 따라 '익명화된' 데이터를 구성하는 것에 대한 오랜 개념을 전복시킬 수 있습니다. 2019년 Nature에 발표된 한 연구에 따르면 올바른 생성형 모델을 사용하면 '모든 데이터 세트에서 15개의 인구 통계학적 속성을 사용하여 미국인의 99.98%를 정확하게 재식별할 수 있다'고 합니다. 이러한 발견은 개인 데이터를 구성하는 개념 자체가 변화하고 있음을 시사합니다.⁷