IBM Cloud의 Intel® Gaudi® 3 AI 가속기

IBM Cloud는 Intel® Gaudi® 3를 제공하는 최초의 글로벌 클라우드 서비스 제공업체입니다

IBM Cloud®에서 Intel^® Gaudi^® 3 AI 액셀러레이터를 사용하여 새로운 AI 솔루션을 개발, 혁신, 배포하세요. 엔터프라이즈 AI 수요에 맞게 비용 효율적으로 확장할 수 있도록 설계되었으며, 고성능, 배포 유연성, 개방형 개발 환경을 제공합니다.

대규모 언어 모델(LLM), 멀티 모달 모델(MMM) 등 광범위한 생성형 AI 추론 애플리케이션 및 프레임워크를 지원합니다. IBM Cloud Virtual Servers for VPC 배포로 빠르게 시작하세요. IBM watsonx®, Red Hat® OpenShift® Kubernetes Service, 자동화된 Terraform 기반 배포에 대한 지원은 2025년 상반기에 제공될 예정입니다. Red Hat OpenShift AI 클러스터, IBM Cloud Kubernetes Service, 그리고 IBM Cloud의 배포 가능한 아키텍처에 대한 지원은 2025년 하반기에 제공될 예정입니다.

Intel Gaudi 3 기술에 대해 자세히 보기

공지 사항

엔터프라이즈 AI를 위한 새로운 솔루션

경쟁력 있는 AI 가격 및 성능

비용 효율적인 생성형 AI 성능을 활용하여 추론 처리량을 높이고 총 소유 비용을 최적화하세요.

빠르고 효율적인 확장

유연한 용량 지원이 제공되고 폐쇄적인 시스템 종속으로부터 자유로워져 시스템 확장성을 쉽게 높일 수 있습니다.

개방형 개발, 배포 선택권

원하는 Intel Gaudi 3 배포 모델로 AI 워크로드를 가속화하고 개방형 표준 퍼블릭 클라우드의 오픈 소스 모델로 개발자 장벽을 제거할 수 있습니다.

인프라 및 소프트웨어 요구 사항에 따라 배포

Intel® Gaudi® 3 AI 가속기는 IBM Cloud Virtual Server for VPC에서 5세대 Gen Intel® Xeon® 프로세서와 결합되어 있습니다.

64개의 텐서 프로세서 코어(TPC)와 8개의 행렬 곱셈 엔진(MME)을 갖춘 Gaudi 3의 클로즈업 모습

IBM Cloud Virtual Private Cloud(VPC)에서 독립 실행형 서버 프로비저닝

Intel Gaudi 3 AI 가속기는 IBM Cloud Virtual Servers for VPC cloud 클라우드 인스턴스를 통해 배포할 수 있습니다. IBM Cloud VPC는 고객이 필수적인 퍼블릭 클라우드의 이점을 유지하는 동시에 격리된 프라이빗 클라우드를 구축할 수 있는 소프트웨어 정의 네트워크 내에서 높은 복원성과 보안을 제공하도록 설계되었습니다. Red Hat Enterprise Linux AI 이미지도 지원하는 Intel Gaudi 3 클라우드 인스턴스는 고도로 특수화된 소프트웨어 스택을 보유한 고객이나 기본 서버에 대한 완전한 제어가 필요한 고객에게 이상적입니다.

서버 배포 살펴보기

설계상의 차별점

고대역폭 메모리(HBM)

3.7TB/s 대역폭 속도를 지원하고 128GB HBM 용량을 탑재한 단일 카드에서 생성형 AI 성능을 가속화하고 더 많은 토큰과 모델을 사용하여 빌드할 수 있습니다.

업계 표준 이더넷

패브릭 종속을 없애고 통합 비용을 절감하는 동시에 업계 표준 이더넷으로 스위칭 선택의 폭을 넓힐 수 있습니다.

대용량 데이터 전송

대용량 RoCE의 24개 200GbE 포트를 통해 대규모 스케일아웃 및 스케일업 용량을 확보하세요.

개방형 개발

Intel^® Gaudi^® 3 Extension for PyTorch를 사용하여 개발을 간소화하고, Hugging Face의 최적화된 모델 라이브러리를 통해 개발 시간과 코드 유지보수를 줄일 수 있습니다.

고성능 코어

적은 데이터 전송을 위해 설계된 특수 고성능 코어를 갖춘 Intel^®Gaudi^® 3 AI 액셀러레이터 행렬 곱셉 엔진을 활용해 보세요.

마이그레이션 간소화

사용자 친화적인 개발자 툴을 사용하여 개방형 소프트웨어에서 단 세 줄의 코드로 모델을 리프트 앤 시프트할 수 있습니다.

리소스

Intel® Gaudi® 3문서

IBM Cloud의 Intel® Gaudi® 3 AI 가속기를 시작해 보세요. 프로비저닝 가이드, 시작하기 튜토리얼, 프로파일 세부 정보 등을 살펴보세요.

IBM Cloud VPC 문서

IBM Cloud Virtual Private Cloud에 대해 자세히 알아보세요. 프로비저닝 가이드, 시작하기 튜토리얼 등을 살펴보세요.

IBM watsonx.ai 데모

watsonx.ai 개발자 스튜디오를 둘러보세요. 프롬프트를 구축하고, 파운데이션 모델을 실험하고, ML 모델을 빌드하는 방법을 알아보세요.

자주 묻는 질문(FAQ)

IBM Cloud의 Intel^® Gaudi^® 3 AI 액셀러레이터는 고성능 AI 워크로드를 위해 설계되었으며, 64개의 텐서 프로세서 코어(TPC)와 8개의 행렬 곱셈 엔진(MME)을 통해 심층 신경망 계산을 가속화하도록 지원합니다. IBM Cloud의 Intel^® Gaudi^® 3 AI 액셀러레이터는 128GB의 HBM2E 메모리를 갖추고 있으며 최대 3.7TB/s의 메모리 대역폭을 제공하고, 24개 200GbE 포트로 업계 표준 이더넷 네트워킹을 지원합니다. 또한 9.6 Tbps의 양방향 대역폭을 제공하여 확장 가능한 시스템 상호 연결을 구현합니다.

Intel^® Gaudi^® 3 AI 액셀러레이터는 멀티 모달, 대규모 언어 모달(LLM), 검색 증강 생성(RAG)에 중점을 두고 추론, 3D 생성, 텍스트 생성, 분류, 비디오 생성, 감성, 번역, 이미지 생성, 요약, Q&A를 포함한 광범위한 AI 애플리케이션 지원을 제공합니다.

128GB의 HBM2E 메모리와 최대 3.7TB/s의 메모리 대역폭을 지원하는 IBM Cloud의 Intel^® Gaudi^® 3 AI 액셀러레이터는 빠른 데이터 처리량을 보장하여, 병목 현상을 줄이고 개발자가 방대한 데이터 세트를 더 빠르고 효율적으로 처리할 수 있도록 지원합니다.

IBM Cloud의 Intel^® Gaudi^® 3 AI 액셀러레이터는 IBM Cloud Virtual Private Cloud(VPC)의 IBM Cloud Virtual Servers에 탑재되어 있습니다. IBM Cloud VPC는 복원력이 뛰어나고 보안이 철저한 소프트웨어 정의 네트워크(SDN)로, 이를 기반으로 하여 필수적인 퍼블릭 클라우드의 이점을 유지하면서 격리된 프라이빗 클라우드를 구축할 수 있습니다. IBM Cloud VPC의 Intel^® Gaudi^® 3 가상 서버 프로파일은 가상 서버 인스턴스를 신속하게 시작할 수 있도록 사전 구성된 vCPU, RAM 및 스토리지의 조합입니다.

IBM Cloud의 Intel^® Gaudi^® 3 AI 액셀러레이터는 PyTorch, ONNX, DeepSpeed를 비롯한 널리 사용되는 프레임워크를 지원합니다. 40만 개 이상의 모델이 Hugging Face에서 사용 가능하며, Optimum Habana 소프트웨어 라이브러리와 함께 사용하도록 최적화되어 있습니다. 전체 Intel^® Gaudi^® 소프트웨어 제품군 및 프레임워크 지원은 개발자가 기존 모델을 최소한의 코드 변경으로 쉽게 통합할 수 있도록 설계되었습니다.