배치를 위한 하드웨어 스펙 관리

배치를 위한 하드웨어 스펙 작성

다음 방법으로 배치에 대한 하드웨어 스펙을 작성할 수 있습니다.

• Python 클라이언트 라이브러리: Python 클라이언트 라이브러리에서 hardware_specifications.store 함수를 사용하십시오. 자세한 정보는 Python 클라이언트 라이브러리 참조 를 참조하십시오.
• 데이터 및 AI 공통 핵심 API : 데이터 및 AI 공통 핵심 API의 환경 목록에서 POST /v2/hardware_specifications 를 사용하여 하드웨어 사양을 만듭니다. 자세한 정보는 환경 API 참조를 참조하십시오.
• cpd-cli 환경 하드웨어: cpd-cli environment hardware-specification create 기능을 사용하여 cpd-cli에서 하드웨어 스펙을 작성하십시오.

하드웨어 스펙이 필요한 배치 유형

하드웨어 스펙 선택은 모든 일괄처리 배치 유형에 사용할 수 있습니다. 온라인 배치의 경우, 배치하는 경우 특정 하드웨어 스펙을 선택할 수 있습니다.

• Python 함수
• Tensorflow 모델
• 사용자 정의 소프트웨어 스펙이 있는 모델

자산 배치에 사용 가능한 하드웨어 구성

• XXS: 1x2 = 1 CPU및 2GB RAM
• XS: 1x4 = 1 CPU및 4GB RAM
• S: 2x8 = 2 CPU및 8GB RAM
• M: 4x16 = 4 CPU및 16GB RAM
• L: 8x32 = 8 CPU및 32GB RAM
• XL: 16x64 = 16 CPU및 64GB RAM

XXS 및 XS 구성을 사용하여 다음을 배치할 수 있습니다.

• Python 함수
• Python 스크립트
• R 스크립트
• 샤이니 앱
• 사용자 정의 라이브러리 및 사용자 정의 이미지를 기반으로 하는 모델

Decision Optimization 배치의 경우 다음 하드웨어 스펙을 사용할 수 있습니다.

• S
• M
• L
• XL

GPU 추론을 위한 하드웨어 구성

GPU 기반 추론에는 다음 하드웨어 구성이 지원됩니다:

• NVIDIA A100 80GB RAM을 탑재한 GPU
• NVIDIA H100 80GB RAM을 탑재한 GPU
• NVIDIA H100 94GB RAM을 탑재한 GPU
• NVIDIA H200 141GB RAM을 탑재한 GPU
• NVIDIA L40S 48GB RAM을 탑재한 GPU (모든 모델에서 지원되는 것은 아닙니다.) (자세한 내용은 파운데이션 모델 참조)
• 128GB RAM이 탑재된 인텔 가우디 3 AI 가속기 (모든 모델에서 지원되는 것은 아닙니다.) (자세한 내용은 파운데이션 모델 참조)

배포를 생성할 때 플랫폼의 x86 사용자 인터페이스에서 CUDA 소프트웨어 사양에 맞는 GPU 기반 하드웨어 구성을 선택할 수 있습니다.

GPU 추론을 위해 다음 사전 정의된 하드웨어 스펙을 사용하십시오.

자세히 알아보기

• MIG 사용 프로파일을 사용하도록 런타임 사용자 정의