모델 배포란 무엇인가요?

머신 러닝 모델 배포는 AI 라이프사이클에서 중요한 단계입니다. 데이터 과학자, AI 개발자 및 AI 연구원은 보통 데이터 수집 및 준비, 모델 개발, 모델 학습 및 모델 평가 등 데이터 과학 및 ML 프로젝트의 처음 몇 단계에서 작업합니다. 모델 배포는 연구를 현실에 도입하는 다음 단계입니다. 일단 배포되면 AI 모델은 새로운 데이터에 대한 추론 또는 실시간 성능뿐만 아니라 설계된 문제를 얼마나 잘 해결하는지에 대한 진정한 테스트를 거칩니다.

Gartner의 설문조사에 따르면 생성형 AI는 조직에서 가장 많이 배포되는 AI 솔루션이지만, AI 프로젝트의 절반(약 48%)만 프로덕션에 도입됩니다.¹ 머신 러닝 모델은 배포되어야만 그 진정한 가치를 확인할 수 있습니다. 사용자는 모델과 상호 작용하여 인사이트를 얻을 수 있으며, 기업은 모델의 분석과 예측을 의사 결정에 활용하고 자동화를 통해 효율성을 높일 수 있습니다.

기업은 새로운 모델에 대해 구상하는 응용과 사용 사례에 따라 다양한 배포 접근 방식 중에서 선택할 수 있습니다. 다음은 몇 가지 일반적인 모델 배포 방법입니다.

• 실시간
• 배치
• 스트리밍
• 엣지

실시간 배포에는 사전 학습된 모델을 데이터 입력 및 아웃풋을 즉시 처리할 수 있는 프로덕션 환경에 통합하는 것이 포함됩니다. 이 방법을 사용하면 온라인 ML 모델을 지속적으로 업데이트하고 새로운 데이터가 들어올 때 신속하게 예측을 생성할 수 있습니다.

즉각적인 예측은 더 나은 사용자 경험과 사용자 참여 증가로 이어질 수 있습니다. 그러나 지연 시간이 짧은 동기식 요청을 관리하려면 실시간 배포에는 빠른 응답 시간과 캐싱을 갖춘 고성능 컴퓨팅 인프라가 필요합니다.

실시간 배포는 제안을 신속하게 제공하는 추천 엔진이나 고객에게 실시간 지원을 제공하는 챗봇과 같은 애플리케이션을 구현할 수 있습니다.

일괄 배포에는 데이터 입력의 오프라인 처리가 포함됩니다. 데이터 세트는 배치로 그룹화된 다음 머신 러닝 알고리즘에 주기적으로 적용됩니다. 따라서 일괄 배치 배포에는 실시간 배포만큼 견고한 인프라가 필요하지 않습니다.

이 방법은 금융 거래, 의료 기록 또는 법률 문서와 같이 비동기식으로 처리할 수 있는 방대한 양의 데이터에 적합합니다. 일괄 배포 사용 사례에는 문서 분석, 예측, 제품 설명 생성, 이미지 분류 및 정서 분석이 포함됩니다.

스트리밍 배포는 지속적인 계산 및 실시간에 가까운 예측을 위해 머신 러닝 시스템에 정기적인 데이터 스트림을 공급합니다. 일반적으로 스트리밍 배포는 실시간 배포와 동일한 인프라를 필요로 합니다.

이 방법은 센서 데이터의 흐름에 의존하는 발전소 모니터링 및 트래픽 관리와 같은 사기 탐지 및 사물인터넷(IoT) 응용에 사용할 수 있습니다.

엣지 배포는 스마트폰, 웨어러블 등 엣지 디바이스에 AI 모델을 배포하는 것을 의미합니다. 이 방법은 자율 주행 차량의 건강 모니터링, 개인화된 모바일 경험, 예측 유지보수 및 예측 라우팅을 포함한 엣지 AI 애플리케이션에 사용할 수 있습니다.

머신 러닝 작업(MLOps)는 프로덕션 환경 내에서 머신 러닝 모델을 배포, 모니터링, 관리 및 개선하기 위한 조립 라인을 생성하도록 설계된 일련의 사례입니다. MLOps는 기존 애플리케이션의 개발, 테스트 및 배포를 간소화하는 데 중점을 둔 DevOps의 원칙을 기반으로 하며 이를 머신 러닝 라이프사이클에 적용합니다.

모델 배포는 MLOps 파이프라인의 구성 요소 중 하나일 뿐입니다. 그러나 모델 배포 프로세스의 일부 단계는 MLOps의 단계와 겹칩니다.

모델 배포는 조직의 IT 시스템과 이미 시행 중인 DevOps 절차에 따라 달라질 수 있습니다. 그러나 이 프로세스에는 일반적으로 다음과 같은 일련의 단계가 포함됩니다.

1. 계획 수립
2. 설정
3. 패키징 및 배포
4. 테스트
5. 모니터링
6. 지속적 통합 및 지속적 배포(CI/CD)

기업은 배포를 시작하기 전에 프로세스를 준비해야 합니다. 기업이 계획 단계에서 기술 준비 상태를 달성하는 방법은 다음과 같습니다.

• ML 모델이 프로덕션 준비 상태인지 확인합니다.
• 모델 버전을 저장, 추적 및 관리하기 위한 모델 레지스트리를 생성합니다.
• 배포 방법을 선택합니다.
• 온프레미스, 클라우드 컴퓨팅 서비스 또는 엣지 디바이스 등 배포 환경 유형을 선택합니다.
• CPU, GPU, 메모리 및 스토리지와 같은 컴퓨팅 리소스의 가용성과 충분성을 평가합니다.

이 시점은 또한 배포 타임라인을 개발하고, 관련된 사람들의 역할과 책임을 정의하고, 모델 배포 프로세스에 대한 명확한 지침과 표준화된 워크플로를 만들 때이기도 합니다.

계획과 마찬가지로 설정은 여러 단계로 구성됩니다. 이 단계에서는 일반적으로 다음이 이루어집니다.

• 프레임워크 및 라이브러리와 같은 필요한 모든 종속성을 설치합니다.
• 프로덕션 환경 설정은 모델 성능을 최적화하도록 구성됩니다.
• 데이터와 모델을 보호하기 위해 액세스 제어, 인증 및 암호화와 같은 보안 조치가 설정됩니다.
• 현재의 백업 및 재해 복구 전략은 ML 모델과 이에 수반되는 데이터 및 인프라를 통합하도록 수정되었습니다.

모든 설정 절차와 구성 설정을 문서화하는 것은 향후 문제를 해결하고 해결하는 데 필수적입니다.

모델 및 해당 종속성은 컨테이너(컨테이너화라는 하는 기법)로 패키징되어 선택한 배포 방법 및 환경에 관계없이 일관성을 유지합니다. 그런 다음 패키지된 모델이 프로덕션 환경에 로드됩니다.

배포된 모델이 의도한 대로 작동하고 엣지 케이스와 잘못된 인스턴스를 처리할 수 있는지 검증하기 위한 철저한 테스트가 중요합니다. 테스트에는 샘플 데이터 세트를 사용하여 예상 아웃풋과 모델의 예측을 비교하고 모델 성능이 주요 지표 및 벤치마크와 일치하는지 확인하는 작업이 포함됩니다.

통합 테스트는 테스트 제품군의 또 다른 필수 구성 요소입니다. 이러한 테스트를 통해 모델이 프로덕션 환경과 원활하게 병합되고 다른 시스템과 원활하게 상호 작용하는지 확인합니다. 또한 모델이 높은 워크로드를 처리하는 방법을 관찰하기 위해 스트레스 테스트가 수행됩니다.

설정 단계와 마찬가지로 수행된 테스트와 그 결과를 문서화하는 것이 중요합니다. 이렇게 하면 모델을 사용자에게 제공하거나 릴리스하기 전에 개선 사항을 정확히 파악할 수 있습니다.

모델 성능, 특히 모델 드리프트를 추적하는 것은 모델 모니터링의 중요한 작업입니다. 지속적인 모니터링을 통해 얻은 인사이트는 반복적 모델 재학습에 반영됩니다. 반복적인 모델 재교육에서는 개선된 알고리즘 또는 더 최근의 관련 샘플이 포함된 새로운 학습 데이터로 모델을 업데이트하여 성능을 개선합니다.

오류율, 지연 시간, 리소스 사용률 및 처리량과 같은 중요한 지표도 모니터링 툴을 사용하여 기록해야 합니다. 모델 모니터링은 배포 직후에 발생하지만 일반적으로 장기적으로 MLOps의 범위에 속합니다.

지속적 통합과 지속적 배포(CI/CD라고 함)를 결합한 관행은 ML 모델의 배포 및 테스트를 자동화하고 간소화할 수 있습니다. CI/CD 파이프라인을 구현하면 모델 업데이트 및 개선 사항을 쉽고 신속하게 적용할 수 있으므로 보다 효율적인 배포와 제공 주기가 가속화됩니다.

기업이 모델 배포 워크플로의 속도를 높이는 데 도움이 되는 다양한 플랫폼과 도구를 사용할 수 있습니다. 이러한 기술을 도입하기 전에 조직은 기존 기술 스택 및 IT 에코시스템과 호환성을 평가해야 합니다.

버전 제어 시스템 및 모델 레지스트리가 모델 버전과 관련 데이터 소스 및 메타데이터를 기록합니다. 데이터 버전 제어(DVC), Git, GitLab, 가중치 및 편향 중에서 선택할 수 있습니다.

Docker 는 컨테이너화를 위해 널리 사용되는 오픈 소스 플랫폼입니다. Amazon Web Services(AWS), Google Cloud, IBM Cloud , Microsoft Azure와 같은 클라우드 서비스 제공업체와 호환됩니다. 대안으로는 Buildah 명령줄 인터페이스(CLI), Podman 및 Rancher Desktop이 있습니다.

Kubernetes는 컨테이너화된 애플리케이션의 배포를 예약하고 자동화하기 위한 잘 알려진 오픈 소스 컨테이너 오케스트레이션 플랫폼입니다. Kubernetes와 Docker는 일반적으로 함께 사용됩니다. 유사한 오케스트레이션 툴로는 Red Hat OpenShift, Amazon Elastic Container Service(ECS), Azure Kubernetes Service(AKS) 및 IBM Cloud Kubernetes Service와 같은 관리형 Kubernetes 솔루션이 있습니다.

모델 배포를 위한 여러 플랫폼이 있습니다. 예를 들어, BentoML은 ML 모델을 애플리케이션 프로그래밍 인터페이스(API) 엔드포인트로,대규모 언어 모델(LLM)을 API 엔드포인트로 제공하기 위한 Python 기반 플랫폼입니다. Kubeflow는 Kubernetes에서 모델 배포를 용이하게 하는 반면, TensorFlow Serving은 TensorFlow 모델을 위한 오픈 소스 서빙 시스템입니다.

한편, 다른 플랫폼은 모델 배포를 지원할 뿐만 아니라 머신 러닝 워크플로도 관리합니다. 여기에는 Amazon SageMaker, Azure Machine Learning, Google Vertex AI Platform, IBM Watson Studio 및 MLflow가 포함됩니다.

CI/CD 도구는 모델 배포 및 테스트를 자동화합니다. 일반적인 도구로는 Continuous Machine Learning(CML), GitHub Actions, GitLab CI/CD 및 Jenkins가 있습니다.

딥 러닝 모델을 배포하려면 움직이는 부분이 많기 때문에 복잡한 작업이 될 수 있습니다. 다음은 모델 배포와 관련된 몇 가지 과제입니다.

• 비용
• 복잡성
• 통합
• 확장성

모델 배포는 인프라 및 유지 관리 비용이 대부분의 예산을 차지하는 등 비용이 많이 들 수 있습니다. 기업은 효율적인 배포를 위해 강력한 인프라와 리소스에 투자할 준비가 되어 있어야 합니다.

모델 배포를 자동화하면 복잡성을 줄이는 데 도움이 될 수 있지만, 이 경우에도 팀은 머신 러닝의 기본 사항을 이해하고 새로운 배포 기술에 능숙해야 합니다. 이러한 격차를 해소하려면 교육과 업스킬링이 필요합니다. 

AI 모델을 현재 IT 시스템에 통합하는 것은 어려울 수 있습니다. 자세한 평가를 수행하면 기업이 모델과 다른 시스템 간의 원활한 연결 및 통신을 위해 API, 미들웨어 또는 업그레이드가 필요한지 판단하는 데 도움이 될 수 있습니다.

성능 저하 없이 수요에 따라 모델을 확장하기는 까다로울 수 있습니다. Auto-Scaling 및 로드 밸런싱 메커니즘을 구현하면 여러 요청과 다양한 워크로드를 지원하는 데 도움이 될 수 있습니다.