IBM Cloud에서 NVIDIA GPU 온디맨드 액세스를 통한 효율적 확장
IBM Cloud®는 학습, 추론 또는 미세 조정과 같은 특정 요구 사항과 AI 워크로드에 가장 적합한 광범위한 NVIDIA GPU(예: H200, L40S)를 보유하고 있습니다. GPU는 대규모 언어 모델(LLM), 멀티 모달 모델(MMM)을 포함한 광범위한 생성형 AI 추론 애플리케이션, 기능 및 프레임워크를 지원합니다. IBM Cloud Virtual Servers for VPC, IBM watsonx®, Red Hat® RHEL AI, OpenShift® AI 및 배포 가능한 아키텍처를 포함한 멀티 플랫폼 지원을 통해 워크로드 배치 목표에 따라 AI 워크로드를 제품에 신속하게 적용하세요.
요구 사항에 따라 배포
NVIDIA GPU는 IBM Cloud Virtual Servers for VPC의 4세대 Intel® Xeon® 프로세서와 결합됩니다. 인프라 및 소프트웨어 요구 사항에 따라 여러 가지 방법으로 채택하고 배포할 수 있습니다.
NVIDIA GPU는 IBM Cloud Virtual Servers for VPC 클라우드 인스턴스를 통해 배포될 수 있습니다. IBM Cloud VPC는 고객이 필수적인 퍼블릭 클라우드의 이점을 유지하는 동시에 격리된 프라이빗 클라우드를 구축할 수 있는 소프트웨어 정의 네트워크(SDN) 내에서 우수한 복원력과 보안을 제공하도록 설계되었습니다. Red Hat Enterprise Linux AI(RHEL AI) 이미지도 지원하는 NVIDIA GPU 클라우드 인스턴스는 고도로 특수화된 소프트웨어 스택을 보유한 고객이나 기본 서버에 대한 완전한 제어가 필요한 고객에게 적합합니다.
인프라부터 워크로드에 이르기까지 전체 AI 스택에 대한 완전한 제어를 필요로 하는 고객은 IBM Cloud VPC의 NVIDIA GPU 기반 가상 서버에 IBM watsonx.ai®를 배포할 수 있습니다. IBM watsonx.ai는 AI 서비스를 개발하고 원하는 애플리케이션에 배포하기 위한 AI 개발자 툴킷과 전체 AI 라이프사이클 관리를 제공하는 원스톱 통합 엔드투엔드 AI 개발 스튜디오입니다.
AI 프레임워크를 자유롭게 선택하는 동시에 AI 워크로드를 빠르고 안전하게 배포하길 원하는 고객은 IBM Cloud에서 NVIDIA GPU의 배포 가능한 아키텍처를 사용할 수 있습니다.
Red Hat OpenShift AI는 기업이 하이브리드 클라우드 환경 전반에서 대규모로 AI 지원 애플리케이션을 생성하고 제공할 수 있도록 지원하는 유연하고 확장 가능한 인공 지능(AI) 및 머신 러닝(ML) 플랫폼입니다. 오픈 소스 기술을 사용하여 구축된 OpenShift AI는 신뢰할 수 있고 운영 일관성을 갖춘 기능을 제공하여 팀이 실험하고 모델을 제공하며 혁신적인 앱을 제공할 수 있습니다.
RoCE v2 지원으로 3.2Tbps 네트워크를 통해 NVIDIA GPU 인스턴스 클러스터링
| GPU | vCPU | RAM | 구성 | ||
|---|---|---|---|---|---|
| NVIDIA H200 GPU - 대규모 기존 AI 및 생성형 AI 모델용 | NVIDIA H200 141GB 8개 | 160 | 1792GiB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA H100 GPU - 대규모 기존 AI 및 생성형 AI 모델용 | 8 x NVIDIA H100 80GB | 160 | 1792GiB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA A100-PCIe GPU - 기존 AI 및 생성형 AI 모델용 | 1 x NVIDIA A100 80GB 2 x NVIDIA A100 80GB | 24 48 | 120GB 240GB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA L40S GPU - 중소형 모델용 | 1 x NVIDIA L40S 48GB 2 X NVIDIA L40S 48GB | 24 48 | 120GB 240GB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA L4 GPU - 더 작은 메모리가 필요한 소형 AI 모델용 | 1 x NVIDIA L4 24GB 2 x NVIDIA L4 24GB 4 x NVIDIA L4 24GB | 16 32 64 | 80GB 160GB 320GB | Virtual Server for VPC Red Hat OpenShift | |
| NVIDIA V100 GPU - 소규모 AI로 시작하려는 경우 | 1 X NVIDIA V100 16GB | 8 | 64GiB | Virtual Server for VPC Red Hat OpenShift |
핵심 워크플로에서 생성형 AI의 영향을 가속화하여 생산성을 높이는 전체 AI 제품 포트폴리오를 살펴보세요.
IBM Cloud Satellite 사용하여 자체 Red Hat OpenShift 컴퓨팅 호스트 클러스터를 생성해 IBM Cloud Virtual Servers, Bare Metal Servers 또는 자체 하드웨어나 제3자 클라우드에서 컨테이너화된 애플리케이션을 배포하고 관리할 수 있습니다.
IBM Cloud에서 컨테이너화된 앱을 배포하기 위한 컴퓨팅 호스트 클러스터를 생성하도록 구축된 인증되고 관리되는 Kubernetes 솔루션을 선택하세요. IBM이 마스터를 관리하므로 호스트 OS, 런타임 및 버전 업데이트를 관리할 필요가 없습니다.
IBM Cloud의 배포 가능한 아키텍처를 통해 혁신을 가속화하고 효율성을 개선하며 보안 및 규정 준수를 유지하는 동시에 비용을 최적화할 수 있습니다
IBM Cloud 및 watsonx 서비스를 지원하여 RAG 배포를 자동화하고 기업 데이터를 생성형 AI 솔루션에 임베드하세요.
뛰어난 확장성을 갖춘 싱글 테넌트 및 멀티 테넌트 가상 머신을 사용하여 최대 수준의 네트워크 격리 및 제어를 신속하게 실행할 수 있습니다.