원치 않는 콘텐츠를 “잊도록” 대형 언어 모델을 학습시키기

대규모 언어 모델(LLM)이 방대한 양의 데이터를 학습하는 데 탁월한 능력을 발휘하고 있는 반면, 그 반대의 새로운 기법인 머신 언러닝이 기술 기업들 사이에서 화제를 모으고 있습니다.

이 비교적 새로운 접근 방식은 LLM에게 민감하거나 신뢰할 수 없거나 저작권이 있는 데이터를 잊거나 “학습하지 않도록” 가르칩니다. 이는 모델을 처음부터 다시 학습시키는 것보다 빠르며, 특정 원치 않는 데이터나 행동을 사후적으로 제거합니다.

IBM, Google, Microsoft와 같은 대형 기술 기업들이 머신 언러닝을 본격적으로 활용하기 위해 서두르고 있는 것은 놀라운 일이 아닙니다. 하지만 언러닝에 대한 관심이 커지면서 이 기술의 문제점도 드러납니다. 너무 많은 내용을 잊어버리는 모델, 그리고 언러닝의 효과를 평가할 업계 표준 툴의 부족입니다.

테라바이트 단위의 데이터로 학습된 LLM은 명시적으로 프로그래밍되지 않아도 스스로 의사결정과 예측을 “학습”합니다. 머신 러닝으로 알려진 AI 분야는 머신 러닝 알고리즘이 인간의 학습 방식을 모방하여 생성 콘텐츠의 정확도를 점진적으로 향상시키면서 크게 인기를 끌고 있습니다.

하지만 더 많은 데이터는 더 많은 문제를 의미합니다. IBM의 수석 연구 과학자인 Nathalie Baracaldo의 말처럼, “좋든 나쁘든 학습된 데이터는 그대로 남습니다.”

따라서 더 큰 모델일수록 더 많은 유해하거나 혐오적인 언어를 생성하고, 사이버 보안 기준을 위반하는 민감한 데이터를 포함할 수 있습니다. 이유가 무엇일까요? 이 모델들은 인터넷의 비정형적이고 신뢰할 수 없는 데이터로 학습되기 때문입니다. 데이터 필터링, 어떤 질문에 답하지 않을지와 어떤 답을 제공할지 모델을 정렬하는 작업, 출력 검증을 위한 다양한 안전장치를 적용하더라도 여전히 원치 않는 행동, 악성 코드, 유해 콘텐츠, 저작권 자료가 유입됩니다.

원치 않는 데이터를 제거하기 위해 모델을 다시 학습시키는 데는 수개월이 걸리고 수백만 달러가 소요됩니다. 게다가 모델이 오픈소스로 공개되면, 기반 모델의 취약점이 다른 많은 모델과 애플리케이션으로 전파됩니다.

언러닝 접근법은 이러한 문제를 완화하는 것을 목표로 합니다. 언러닝 알고리즘은 유해하거나 비윤리적이거나 저작권이 있는 언어가 포함된 콘텐츠나 원치 않는 텍스트 프롬프트와 같은 특정 데이터 포인트와 같은 비학습 대상을 식별하여 대상 콘텐츠의 영향을 효율적으로 제거합니다.

Microsoft 연구팀은 이 언러닝 접근을 활용해, 인터넷에서 학습된 해리 포터의 저작권 있는 내용을 Meta의 Llama2-7b 모델이 잊게 만들 수 있는지 실험했습니다. 언러닝 이전에는, 연구자가 “Who is Harry Potter?”와 같은 프롬프트를 입력하면 모델은 “Harry Potter is the main protagonist in J.K. Rowling’s series of fantasy novels.”라고 응답했습니다.

미세 조정을 통해 모델이 저작권이 있는 자료를 “잊도록” 만들고 난 후, 동일한 프롬프트에 대해 모델은 다음과 같이 응답했습니다. “Harry Potter는 영국의 배우이자 작가, 그리고 감독입니다…”.

연구자인 Ronen Elden과 Mark Russinovich는 블로그 글에서 “본질적으로 모델이 대상 데이터와 관련된 문맥을 만날 때마다 원래 내용을 ‘잊어버립니다.’”라고 설명했습니다. 연구팀은 Hugging Face에 모델을 공개해 AI 커뮤니티가 언러닝을 탐구하고 실험할 수 있도록 했습니다.

저작권 자료 제거뿐 아니라 개인의 프라이버시를 보호하기 위해 민감한 자료를 제거하는 것도 중요한 활용 사례입니다. 텍사스대학교 오스틴 캠퍼스의 Radu Marculescu가 이끄는 연구팀은 JP Morgan Chase의 AI 전문가들과 협력해 이미지-투-이미지 생성 모델을 위한 머신 언러닝 연구를 진행하고 있습니다. 최근 발표한 논문에서 연구팀은 전체 이미지 성능을 저하시키지 않고 이미지의 원치 않는 요소(‘forget set’)를 제거할 수 있음을 입증했습니다.

Marculescu 교수는 이러한 기술이 부동산 현장을 드론으로 조사하는 경우 등에서 도움이 될 수 있다고 말했습니다. “예를 들어 어린이 얼굴이 선명하게 찍혀 있다면, 해당 부분을 제거해 프라이버시를 보호할 수 있습니다.”

Google 또한 더 넓은 오픈소스 개발자 커뮤니티에서 언러닝 문제를 해결하기 위해 적극적으로 노력하고 있습니다. Google은 2023년 6월 첫 머신 언러닝 챌린지를 개최했습니다. 이 대회는 얼굴 이미지로 학습된 연령 예측 모델을 사용했습니다. 학습 후, 개인정보 보호 또는 관련 인물의 권리를 위해 학습 이미지 중 특정 부분을 모델이 ‘잊도록’ 해야 했습니다.

완벽하진 않지만 여러 팀의 초기 결과는 매우 고무적입니다. 예를 들어 IBM의 Baracaldo 팀은 Llama 모델에 머신 언러닝을 적용해 정확도 손실 없이 독성 점수를 15.4%에서 4.8%로 낮추는 데 성공했습니다. 그리고 모델을 다시 학습하는 데 수개월과 막대한 비용이 드는 것과 달리, 언러닝은 단 224초만에 완료되었습니다.

그렇다면 왜 머신 언러닝이 널리 사용되지 않을까요?

Baracaldo는 “언러닝 기법은 아직 초기 단계이며 확장성이 충분하지 않습니다.”라고 설명합니다.

가장 큰 문제는 ‘치명적 망각’입니다. 이는 모델이 연구자가 의도한 것보다 더 많은 것을 잊어버려 설계된 핵심 기능을 수행하지 못하게 되는 현상입니다.

IBM 연구팀은 학습 후 모델의 동작을 개선하기 위한 새로운 프레임워크를 개발했습니다. SPUNGE(split-unlearn-then-merge)라고 부르는 접근법을 사용해 모델의 일반적인 능력을 유지하면서 독성이나 생물보안·사이버보안 위험 같은 위험한 지식을 효과적으로 언러닝할 수 있었습니다.

연구자들은 언러닝 효과를 측정할 포괄적이고 신뢰할 만한 평가 툴을 개발하는 것도 여전히 해결해야 할 문제라고 지적합니다.

언러닝은 아직 초기 단계이지만, 다양한 산업 및 지역에서 폭넓게 활용될 가능성이 있기 때문에 연구자들은 더욱 집중하고 있습니다.

예를 들어 유럽에서는 EU 일반 데이터 보호 규정(GDPR)이 개인의 ‘잊혀질 권리’를 보호하고 있습니다. 개인이 자신의 데이터를 삭제하도록 요청할 경우, 머신 언러닝은 기업이 이 규정을 준수하며 해당 데이터를 제거하는 데 도움을 줄 수 있습니다. 보안과 프라이버시 외에도, 라이선스가 만료되거나 고객이 금융 기관이나 병원 네트워크를 떠나는 경우처럼 데이터를 추가하거나 제거해야 하는 많은 상황에서도 유용할 수 있습니다.

Baracaldo는 “언러닝의 장점은 데이터 필터링과 같은 다른 방어선들을 계속 사용할 수 있다는 것입니다.”라고 말합니다. “또한 문제가 발견될 때마다 모델을 ‘패치’하거나 수정해 원치 않는 모든 것을 제거할 수 있습니다.”