대규모 AI 워크로드 관리

파일럿 프로그램에서 전체 프로덕션으로 애플리케이션을 전환하는 단계에서 운영이 복잡해집니다. 예를 들어 금융 서비스 기업은 고객 응대용 어시스턴트와 함께 실시간으로 거래를 평가하는 사기 탐지 모델을 운영하는 경우가 많습니다. 각 시나리오는 서로 다른 지연 시간 요구사항, 데이터 거주성 요구사항 및 규정 준수 통제를 가집니다.

오늘날 대부분의 기업 조직은 프로덕션 환경에서 이러한 시스템을 동시에 여러 개 관리하고 있습니다. 시스템이 추가될수록 과제는 줄어들지 않고 오히려 증가합니다. IBM 기업가치연구소(IBV) 연구에 따르면 경영진의 77%가 경쟁력을 유지하기 위해 AI를 신속하게 도입해야 한다고 응답했습니다. 그러나 조직의 IT 인프라가 기업 전반에서 AI 확장을 지원할 수 있다고 강하게 동의한 비율은 25%에 불과합니다.

모델 학습과 AI 추론은 서로 다른 요구사항을 가집니다. 학습에는 특수 프로세서 클러스터 전반에서 지속적으로 실행되는 대규모 컴퓨팅이 필요합니다.반면 추론은 프로덕션 환경에서 실행되며, 순수 처리 성능보다 지연 시간과 가용성이 더 중요합니다.

McKinsey에 따르면 2030년까지 추론 워크로드가 전체 AI 컴퓨팅의 절반 이상을 차지할 것으로 예상됩니다. 이러한 변화는 모델을 구축하는 것만큼이나 효율적으로 운영하는 것이 중요한 비즈니스 과제가 되고 있음을 의미합니다.¹

이러한 복잡성을 고려할 때, 대규모 AI 워크로드 관리는 단순한 기술 문제가 아닙니다. 이는 운영상의 문제입니다. 이 작업을 잘 수행하는 조직은 인프라, 거버넌스 및 일상 운영 전반에 걸쳐 모범 사례를 확립한 조직입니다.

기존 워크로드와 비교할 때 AI 워크로드는 일반적으로 비정형 데이터(예: 이미지, 텍스트, 오디오)를 처리하며, 이는 기존 IT 인프라가 설계되지 않은 복잡성을 유발합니다.

컴퓨팅 리소스가 가장 큰 부담 요소가 됩니다. 학습 및 추론에는 그래픽 처리 장치(GPU)와 텐서 처리 장치(TPU)가 필요하며, 이는 표준 컴퓨팅보다 프로비저닝 및 운영 비용이 더 높습니다. 그 결과 비용 예측 가능성과 리소스 할당이 지속적인 과제가 됩니다.

데이터 센터 인프라는 또 다른 복잡성을 더합니다. AI 워크로드 학습에는 고급 냉각 기능을 갖춘 고밀도 컴퓨팅 클러스터가 필요하며, 추론 워크로드는 데이터와 애플리케이션에 대한 낮은 지연 시간의 액세스를 필요로 합니다. 이 두 가지 모두 기존 데이터 센터 인프라에 부담을 줍니다. 에너지 제약 또한 확장성에 점점 더 큰 영향을 미치며 전력 가용성이 중요한 고려사항이 되고 있습니다.

성능 요구사항도 더욱 복잡해집니다. 지연과 병목 현상은 프로덕션 애플리케이션을 저해해서는 안 되며, 추론 워크로드는 엣지 환경과 같이 처리 대상 데이터 및 애플리케이션과 가까운 위치에 배치되어야 합니다.

거버넌스 역시 조직 및 규정 준수 측면에서 복잡성을 증가시킵니다. 시스템이 증가함에 따라 일관된 데이터 계보, 감사 추적 및 사이버 보안 통제를 유지하기가 더욱 어려워집니다. 지역별로 상이한 데이터 거주성 및 데이터 주권 요구사항은 특히 국경을 넘는 운영을 하는 조직에 추가적인 과제를 제공합니다.

마지막으로 운영 전문성 부족은 많은 기업에 기술 격차를 발생시킵니다. 프로덕션 환경에서 워크로드를 운영하려면 데이터 엔지니어링, 머신 러닝 운영(MLOps) 및 인프라 관리 전반에 걸친 전문성이 필요하며, 이는 많은 조직이 아직 발전시키고 있는 영역입니다.

서로 다른 라이프사이클 단계에 있는 여러 시스템을 관리하는 것은 기존 IT 워크플로를 넘어서는 과제입니다.많은 팀이 이러한 복잡성에 대비되어 있지 않습니다.

AI 워크로드와 관련된 과제는 현실적이지만 충분히 관리 가능합니다. 다음과 같은 운영 방식을 일관되게 적용하면 대규모 AI 워크로드 관리에 있어 큰 차이를 만들 수 있습니다.

모든 AI 워크로드가 동일한 요구사항을 가지는 것은 아니며 이를 동일하게 취급하면 리소스 낭비와 성능 문제가 발생합니다. 각 워크로드의 요구사항에 맞게 컴퓨팅, 스토리지 및 네트워킹을 적절히 매칭하면 비용 예측 가능성을 유지할 수 있습니다.

워크로드 스케줄러는 팀이 컴퓨팅 리소스를 효율적으로 할당하고 프로덕션 환경 전반에서 GPU 리소스의 과잉 구매를 방지할 수 있도록 지원합니다.

각 팀이 서로 다른 방식으로 배포하면 문제 해결이 사일로화됩니다.

일관된 AI 데이터 파이프라인, 공유 모니터링 툴 및 공통 운영 프로세스는 시스템 수가 증가함에 따라 이러한 마찰을 줄입니다. 새로운 팀은 더 빠르게 적응할 수 있으며 품질을 유지하기도 더 쉬워집니다.

규정 준수 요구사항은 나중에 추가하는 것보다 처음부터 반영하는 것이 훨씬 쉽습니다.

데이터 거주성, 감사 추적 및 액세스 제어를 사후 고려사항이 아닌 초기 요구사항으로 다루는 조직일수록 규제가 변경될 때 재작업이 적습니다. 요구사항이 크게 달라질 수 있는 여러 지역에서 운영하는 조직에게 이러한 작업은 필수적입니다.

프로덕션 환경에서 AI를 운영하려면 데이터 엔지니어링, 모델 운영 및 인프라 관리를 이해하는 인력이 필요합니다. 대부분의 조직에서는 이러한 역량이 아직 구축되는 단계에 있습니다.

채용, 교육 또는 외부 파트너십을 통해 이러한 격차를 조기에 해소하면 운영을 원활하게 유지하고 비용을 통제할 수 있습니다.

출시 시점에 잘 작동하던 모델이 6개월 후에도 동일한 성능을 유지한다는 보장은 없습니다. 데이터가 변화하고 조건이 바뀌며 정확도가 서서히 저하되지만, 이는 비즈니스 결과에 영향을 미치기 전까지는 명확하게 드러나지 않을 수 있습니다.

Prometheus 및 IBM® Turbonomic과 같은 관측 가능성 툴은 모든 프로덕션 배포에서 핵심적인 요소로, 시간에 따른 지연 시간, 처리량 및 모델 성능을 추적합니다. 재학습 일정과 정기적인 유지보수 점검은 작은 문제가 더 큰 문제로 확대되는 것을 방지합니다.

하나의 시스템은 관리가 가능합니다. 여러 환경에 걸쳐 다양한 팀, 공급자 및 규정 요구사항이 있는 10개의 시스템은 훨씬 더 복잡한 상황입니다.

지속적인 위기 없이 확장하는 조직은 초기 단계에서 체계를 구축한 조직입니다. 이는 명확한 프로세스, 정의된 책임 및 프로덕션에서 실행되는 모든 AI 워크로드에 대한 가시성을 유지할 수 있는 툴을 의미합니다.

확장 가능한 AI 워크로드를 관리하는 과제를 해결하려면 특화된 AI 인프라가 필요합니다. 이 인프라는 데이터 센터 및 AI 데이터 센터 전반에서 대형 언어 모델(LLM)과 같은 대규모 AI 모델을 구축, 학습 및 배포할 수 있도록 지원하는 하드웨어, 소프트웨어, 네트워킹 및 스토리지 리소스를 포함합니다. 모델 배포부터 지속적인 모니터링에 이르기까지 각 단계에는 고유한 인프라 요구사항이 존재합니다.

대규모 AI 워크로드 관리를 위한 인프라 구성 요소에는 다음 요소가 포함됩니다.

• 하이브리드 클라우드
• 컴퓨팅 리소스
• 마이크로서비스
• 컨테이너화 및 Kubernetes
• 데이터 파이프라인 및 스토리지
• MLOps 및 GenAIOps

오늘날 조직은 다양한 공급자의 퍼블릭 클라우드 서비스를 결합하고 여러 클라우드 공급자의 인프라에 걸쳐 확장되는 하이브리드 멀티클라우드 환경에 의존합니다.

단일 IT 환경으로는 모든 AI 워크로드 요구사항을 충족할 수 없습니다. Amazon Web Services (AWS), Microsoft Azure, IBM Cloud, Google Cloud와 같은 공급자가 제공하는 퍼블릭 클라우드 플랫폼은 하이퍼스케일 환경에서 대규모 학습 워크로드에 적합한 온디맨드 GPU 용량을 제공합니다. 다만 민감한 고객 데이터와 관련된 추론 워크로드는 규정 요구사항을 충족하기 위해 온프레미스 또는 프라이빗 클라우드에 유지되는 경우가 많습니다.

하이브리드 클라우드는 각 워크로드 요구사항에 따라 이러한 배치 결정을 내릴 수 있는 유연성을 제공하는 동시에 클라우드 네이티브 기술이 환경 전반에서 일관되게 실행되도록 합니다.

AI 워크로드, 특히 모델 학습은 기존 기업 시스템을 구동하는 중앙 처리 장치(CPU) 대신 NVIDIA와 같은 GPU 및 TPU를 포함한 특수한 컴퓨팅 리소스를 필요로 합니다.

TensorFlow 및 PyTorch와 같은 프레임워크는 이러한 하드웨어에서 실행되도록 설계되었으며, 워크로드를 프로덕션으로 이전하기 전에 성능을 벤치마킹하는 데 일반적으로 사용됩니다. 배포가 확장됨에 따라 비용 효율성을 유지하려면 학습 및 추론 주기 전반에서 GPU 사용률과 리소스 활용도를 추적하는 것이 필수적입니다.

많은 조직이 특정 비즈니스 기능에 집중하는 더 작고 느슨하게 결합된 구성 요소로 애플리케이션을 분할하는 마이크로서비스 아키텍처를 사용하도록 AI 애플리케이션을 구축하거나 전환하고 있습니다.

이 접근 방식은 AI 워크로드를 독립적으로 개발, 확장 및 업데이트하기 쉽게 하며 하이브리드 환경 전반에서 배포를 위한 컨테이너화의 중요한 요소입니다.

컨테이너화된 AI 워크로드를 대규모로 관리하는 방법을 이해하려면 현대 클라우드 네이티브 인프라의 사실상 표준 컴퓨팅 단위인 컨테이너부터 시작해야 합니다. 컨테이너는 Docker와 같은 컨테이너 런타임을 통해 애플리케이션과 종속성을 이식 가능한 단위로 패키징하며, 이는 다양한 환경에서 일관되게 실행되는 오픈 소스 플랫폼입니다.

컨테이너 오케스트레이션 플랫폼인 Kubernetes는 물리 또는 가상 머신과 같은 노드로 구성된 Kubernetes 클러스터 전반에서 컨테이너의 배포, 확장 및 관리를 자동화할 수 있습니다.이 접근 방식은 로드 밸런싱과 오토스케일링을 통해 AI 워크로드가 분산되고 리소스가 효율적으로 사용되도록 보장합니다.

각 워크로드는 자체 파드에서 실행되며 Kubernetes가 이를 스케줄링하고 모니터링합니다. 하나의 환경에서 구축 및 테스트된 AI 워크로드는 온프레미스와 클라우드 간 전환이 필요할 때 재구성 없이 다른 환경으로 이동할 수 있습니다.

모델 구축 및 학습에는 신뢰할 수 있는 데이터 파이프라인을 통해 대규모 데이터 세트에 대한 빠른 액세스가 필요합니다. 시스템은 애플리케이션 프로그래밍 인터페이스(API)를 통해 통신하며, 모델 수가 증가함에 따라 환경 전반에서 일관된 데이터 라우팅, 액세스 및 통합이 필수적입니다.

AI 추론 워크로드는 프로덕션 환경에서 서비스하는 데이터 및 AI 애플리케이션과의 낮은 지연 시간 연결이 필요합니다. 조직 내 시스템 수가 증가할수록 데이터 이동을 관리하고 품질을 유지하며 적절한 데이터가 적절한 모델에 전달되도록 보장하는 것이 더욱 어려워집니다. 이 지점에서 AI 스토리지 기술이 활용됩니다.

MLOps는 DevOps 원칙을 머신 러닝(ML) 및 AI 라이프사이클에 적용하여 CI/CD 파이프라인을 통해 모델을 구축, 테스트, 배포 및 모니터링합니다. 이 라이프사이클에는 지속적인 프로덕션 관리를 통한 모델 서빙이 포함됩니다.

머신 러닝 운영(MLOps)이 없으면 모델 드리프트가 발생하고 재학습이 지연되며 팀은 지연 시간과 처리량과 같은 핵심 성능 지표에 대한 가시성을 잃게 됩니다.

GenAIOps는 MLOps를 생성형 AI로 확장하며, 여기에는 파운데이션 모델, RAG 시스템 및 AI 에이전트가 새로운 운영 패턴을 도입합니다. 정보를 검색하는 기존 챗봇은 비교적 모니터링하기 쉽습니다. 가상 에이전트와 같은 에이전틱 AI 시스템은 여러 시스템과 엔드포인트 전반에서 동작을 선택하고 조정하며 비선형적으로 작동할 수 있습니다.

확장 가능한 AI 워크로드 관리는 복잡한 AI 시스템을 운영하는 기업에 다양한 이점을 제공합니다.

• 중앙 집중식 가시성 및 제어: AI 배포 및 성능 전반에 대한 관측 가능성을 통해 대규모 관리가 용이해지고 비즈니스에 영향을 미치기 전에 문제를 식별할 수 있습니다. 환경 간 이식성은 요구사항이 변화함에 따라 팀이 특정 인프라 방식에 종속되지 않도록 합니다.

• 운영 효율성: 팀 전반에서 일관된 툴과 배포 방식을 사용함으로써 AI 시스템 수가 증가하더라도 운영을 안정적으로 유지하고 새로운 기능이 추가되더라도 핵심 기능이 안정적으로 유지됩니다.

• 비용 제어: 적절한 오케스트레이션이 없으면 GPU 리소스가 낭비되거나 과도하게 구매될 수 있습니다. 리소스 관리는 AI 배포가 확장됨에 따라 비용 효율성을 유지하는 데 도움이 됩니다.

• 시장 출시 속도: 적절한 프로세스를 갖춘 팀은 더 빠르게 작업할 수 있습니다. 적절한 AI 인프라와 프로세스가 갖춰지면 몇 달이 걸리던 작업도 몇 주 만에 수행할 수 있습니다.

• 규정 준수 및 거버넌스: 규제가 변화함에 따라 AI 워크로드 관리 체계를 갖춘 조직은 데이터 거주성, 감사 및 투명성 요구사항을 더 효과적으로 충족할 수 있습니다.

• 대규모 혁신: 적절한 인프라와 운영 방식은 팀이 문제 해결이 아니라 혁신에 집중할 수 있도록 합니다.

대규모 AI 워크로드 관리는 산업마다 다르게 나타나지만 비용, 규정 준수 및 신뢰성과 같은 핵심 과제는 모든 산업에서 공통적으로 존재합니다.

다음은 몇 가지 예시입니다.