모델 드리프트란 무엇입니까?

드리프트를 감지하고 완화하기 위해 조직은 데이터 및 인공 지능(AI) 플랫폼의 성능을 모니터링하고 관리할 수 있습니다. 시간이 지남에 따라 제대로 모니터링하지 않으면 가장 잘 훈련되고 편향되지 않은 AI 모델이라도 일단 배포되면 원래 매개변수에서 '드리프트'하여 원치 않는 결과를 생성할 수 있습니다. 드리프트 감지는 강력한 AI 거버넌스의 핵심 구성 요소입니다.

과거 데이터를 사용하여 구축한 모델은 빠르게 정체될 수 있습니다. 많은 경우, 새로운 데이터 포인트(새로운 변형, 새로운 패턴, 새로운 트렌드 등)가 항상 유입되고 있으며, 이는 이전의 과거 데이터로는 포착할 수 없습니다. AI 모델의 훈련이 수신 데이터와 일치하지 않으면 해당 데이터를 정확하게 해석할 수 없거나 해당 라이브 데이터를 사용하여 정확한 예측을 안정적으로 수행할 수 없습니다.

드리프트를 신속하게 감지하고 완화하지 않으면 드리프트가 더 심해져 운영에 대한 피해가 커질 수 있습니다. 드리프트 감지 기능을 통해 조직은 모델로부터 정확한 아웃풋을 지속적으로 받을 수 있습니다.

세상은 끊임없이 변화하기 때문에 끊임없이 변화하는 데이터에 따라 세상을 이해하는 데 사용되는 모델도 지속적으로 검토하고 업데이트해야 합니다. 다음은 해결해야 할 세 가지 유형의 모델 드리프트이며, 각각 다른 원인이 있습니다.

개념 드리프트는 입력 변수와 대상 변수 사이에 차이가 있을 때 발생하며, 이 시점에서 정의가 더 이상 유효하지 않기 때문에 알고리즘이 오답을 제공하기 시작합니다. 독립 변수의 변화는 다음과 같은 다양한 기간에 걸쳐 영향을 미칠 수 있습니다.

개념 드리프트는 날씨 변화에 따른 구매 행동의 계절성과 같이 정기적으로 반복되고 사라집니다. 겨울철 기후에서는 일반적으로 늦가을과 초겨울에 눈삽과 제설기 판매가 증가합니다. 예상 강설량에 따라 지리적 조정도 이루어져야 합니다.

예상치 못한 개발로 인해 새로운 구매 패턴이 생길 수 있습니다. 예를 들어 ChatGPT에 대한 갑작스러운 홍보로 인해 AI 하드웨어 및 소프트웨어 제품에 대한 수요가 증가하고 AI 관련 기업의 주가 가치가 상승할 수 있습니다. 해당 뉴스가 게시되기 전에 훈련된 예측 모델로는 이후의 결과를 예측할 수 없었습니다.

또 다른 예로는 코로나19 팬데믹이 도래하면서 게임과 운동 장비 판매가 급증한 반면 레스토랑과 호텔의 방문객 수는 훨씬 감소하는 등 행동에 갑작스러운 변화가 발생했습니다. 

일부 드리프트는 점진적으로 또는 예상 속도로 발생합니다. 예를 들어, 스패머와 해커는 수년 동안 다양한 툴과 트릭을 사용해 왔습니다. 보호 소프트웨어와 스팸 필터가 개선됨에 따라 악의적인 행위자도 그에 따라 발전했습니다. 디지털 상호 작용을 보호하도록 설계된 모든 AI는 이에 발맞춰야 합니다. 정적 모델은 곧 쓸모가 없어질 것입니다.

데이터 드리프트(공변량 변화라고도 함)는 입력 데이터의 기본 데이터 분포가 변경될 때 발생합니다. 소매업에서 제품 판매는 다른 신제품의 출시 또는 경쟁 제품의 단종에 의해 영향을 받을 수 있습니다. 또는 웹사이트가 처음에는 젊은 층에 의해 채택되었다가 이후 노년층의 호응을 얻는 경우, 젊은 사용자의 사용 패턴에 기반한 원래 모델이 고령 사용자층에서는 잘 작동하지 않을 수 있습니다.

업스트림 데이터 변경은 데이터 파이프라인에 변경이 있을 때 발생합니다. 예를 들어, 업스트림 데이터를 다른 통화(예: USD 대 유로)로 변경하거나, 킬로미터 대신 마일 단위로 측정하거나, 섭씨 대신 화씨 단위로 온도를 변경할 수 있습니다. 이러한 변경은 데이터 레이블 지정 방식의 변경을 설명하도록 구축되지 않은 모델을 무너뜨릴 수 있습니다.

비즈니스와 데이터 과학자는 다양한 데이터 드리프트 감지 방법을 사용하여 머신 러닝 모델 드리프트를 파악하고 모델이 더 이상 사용되지 않게 되기 전에 경로를 수정할 수 있습니다.

가장 많이 사용되는 방법은 두 확률 분포 간의 잠재적 편차를 측정하는 시간 분포 기반 방법입니다. 결과가 눈에 띄게 다르다면 입력 데이터의 통계적 특성이 변경되어 데이터 드리프트가 발생했을 가능성이 높습니다.

데이터 드리프트 탐지는 조직 전체에 흐르는 데이터의 품질과 신뢰성을 지속적으로 모니터링하는 방법인 데이터 관측성의 핵심 요소입니다. Python 코딩 언어는 오픈 소스 드리프트 감지기를 만드는 데 사용하기 위해 데이터 과학 분야에서 특히 인기가 있습니다.

Kolmogorov-Smirnov(KS) 테스트는 두 데이터 세트가 동일한 분포에서 비롯되었는지 여부를 측정합니다. 데이터 과학 분야에서 KS 테스트는 비모수적이므로 미리 설정된 가정이나 기준을 충족하기 위해 분포가 필요하지 않습니다.

데이터 과학자가 Kolmogorov-Smirnov 테스트를 사용하는 데는 크게 두 가지 이유가 있습니다.

• 데이터 샘플이 특정 모집단에서 추출되었는지 여부를 확인합니다.
   

• 두 데이터 샘플을 비교하고 동일한 모집단에서 추출한 것인지 확인합니다.

K-S 테스트 결과 두 데이터 세트가 서로 다른 모집단에서 나온 것처럼 보이면 데이터 드리프트가 발생했을 가능성이 높으므로 K-S 테스트는 신뢰할 수 있는 드리프트 감지기가 될 수 있습니다.

수학자 Leonid Vaserstein의 이름을 딴 Wasserstein 거리는 간단한 비유를 사용하여 데이터 드리프트의 심각도를 시각화합니다. 두 개의 작은 흙더미를 상상해 보세요. 데이터 드리프트는 다른 흙더미에서 가져온 흙으로 한 더미를 만드는 데 필요한 작업량입니다. 이러한 이유로 Wasserstein 거리는 컴퓨터 및 데이터 과학에서 지구 발동기 거리(EMD)로도 알려져 있습니다.

드리프트 감지 방법인 Wasserstein 거리는 학습 데이터를 머신 러닝 모델에 공급되는 새로운 입력 데이터와 비교합니다. 특징 간의 복잡한 관계를 식별하는 데 탁월하며 이상값을 탐색하여 일관된 결과를 얻을 수 있습니다.

모집단 안정성 지수(PSI)는 두 데이터 세트의 범주형 특징의 분포를 비교하여 시간 경과에 따른 분포의 변화 정도를 파악합니다.

더 높은 PSI 값으로 표시되는 분포의 발산이 클수록 모델 드리프트가 있음을 나타냅니다. PSI는 독립 및 종속 기능(다른 변수에 따라 변경됨)을 모두 평가할 수 있습니다.

하나 이상의 범주형 특징의 분포가 높은 PSI를 반환하는 경우 기계 모델을 재보정하거나 재구축해야 할 가능성이 높습니다.

기업은 이러한 모범 사례에 따라 데이터 드리프트 감지 및 수정을 더 잘 관리할 수 있습니다.

프로덕션 데이터가 모델의 훈련 데이터와 다르기 때문에 배포 후 며칠 내에 AI 모델의 정확도가 저하될 수 있습니다. 이로 인해 잘못된 예측과 심각한 위험 노출이 발생할 수 있습니다.

모델 드리프트 및 편향으로부터 보호하기 위해 조직은 모델의 정확도가 사전 설정된 임계값 아래로 감소(또는 드리프트)될 때 자동으로 감지하는 AI 드리프트 감지기 및 모니터링 툴을 사용해야 합니다.

모델 드리프트를 탐지하는 이 프로그램은 어떤 트랜잭션이 드리프트를 유발했는지 추적하여 레이블을 다시 지정하고 모델을 재훈련하는 데 사용할 수 있도록 하여 런타임 중에 예측력을 복원해야 합니다.

통계적 드리프트 감지는 통계 메트릭을 사용하여 데이터 샘플을 비교하고 분석합니다. 이는 대부분의 메트릭이 이미 기업 내에서 사용 중이기 때문에 구현하기가 더 쉬운 경우가 많습니다. 모델 기반 드리프트 감지는 포인트 또는 포인트 그룹과 참조 기준선 간의 유사성을 측정합니다.

조직은 AI 모델, 특히 생성형 AI 모델을 라이프사이클 전반에 걸쳐 주기적으로 테스트해야 합니다. 이 테스트에는 다음이 포함됩니다.

1. 편향과 드리프트를 감지하는 테스트를 통해 사전 프로덕션에서 모델을 검증한 다음 테스트 보고서를 생성합니다.
   
   
2. 모델에 대한 성공적인 배포 전 테스트 구성을 배포된 모델 버전으로 전송하고 자동화된 테스트를 계속 진행합니다.
   
   
3. 모델, 데이터 및 테스트 결과 정보를 기록 시스템과 동기화합니다.
   
   
4. 일관되고 신뢰할 수 있는 알림을 제공하고 팀이 모델 모니터링 대신 모델 개발에 집중할 수 있는 더 많은 시간을 제공할 수 있는 자동화입니다.

Forrester의 Total Economic Impact 연구에 따르면, “통합된 데이터 및 AI 환경에서 모델을 구축, 실행 및 관리함으로써 [조직]은 AI 모델이 어디서나 공정하고 설명 가능하며 규정을 준수하도록 보장할 수 있습니다. 또한 이 엔드투엔드 AI 접근 방식은 조직이 모델 드리프트와 편향을 감지하고 수정하는 데 도움을 주며 AI 모델이 생산 중일 때 모델 위험을 관리할 수 있도록 지원합니다."

가장 좋은 방법은 중앙 대시보드에서 모든 모델을 관리하는 것입니다. 통합 접근 방식은 조직이 지표를 지속적으로 추적하고 개발, 검증 및 배포를 통해 정확성과 데이터 일관성이 떨어지지 않도록 팀에 경고할 수 있습니다. 중앙 집중식의 전체적인 보기는 조직이 사일로를 허물고 전체 데이터 리니지에 걸쳐 더 많은 투명성을 제공하는 데 도움이 될 수 있습니다.

생산 및 학습 데이터와 모델 예측을 실시간으로 비교하는 AI 모델을 통해 드리프트 시나리오와 규모를 감지합니다. 이렇게 하면 드리프트를 빠르게 찾아내고 즉시 재훈련을 시작할 수 있습니다. 이 탐지는 머신 러닝 연산(MLOps)이 반복적인 것처럼 반복적으로 이루어집니다. 

시간 기반 분석은 드리프트가 어떻게 진화했고 언제 발생했는지 확인하는 데 도움이 됩니다. 예를 들어 매주 검사를 실시하면 드리프트가 매일 어떻게 변화했는지 알 수 있습니다.

타임라인을 분석하면 드리프트가 점진적인지 갑작스러운지 확인하는 데도 도움이 될 수 있습니다. 설명 가능한 AI 접근 방식은 이러한 투명성을 AI 사용에 적용하고 조직이 모델이 결과를 어떻게 그리고 왜 전달했는지 모니터링하는 데 도움이 됩니다.

관련성이 높은 최신 샘플이 추가된 새로운 훈련 데이터 세트를 사용합니다. 목표는 대규모 언어 모델(LLM)을 빠르고 정확하게 프로덕션으로 되돌리는 것입니다. 모델을 재훈련해도 문제가 해결되지 않으면 새 모델이 필요할 수 있습니다.대규모 언어 모델 운영(LLMOps) 기술은 조직이 LLM을 모니터링하고 재훈련하는 데 도움이 될 수 있습니다.

조직은 배치 데이터로 모델을 훈련하는 대신 최신 실제 데이터가 있는 경우 이를 사용하여 머신 러닝(ML) 모델을 업데이트하여 “온라인 학습”을 연습할 수 있습니다.

모델을 훈련하는 데 사용되는 데이터가 실제로 사용할 프로덕션 데이터와 다르기 때문에 모델이 드리프트되는 것처럼 보일 수 있습니다. 의료 사용 사례에서 훈련에는 고해상도 스캔이 사용되지만 현장에서는 저해상도 스캔만 사용할 수 있는 경우 결과가 정확하지 않습니다.