생성형 AI 추론을 확장 및 최적화하기 위한 설계
개요
IBM® AI Optimizer for Z는 엔터프라이즈 규모에서 생성형 AI의 요구 사항을 충족하도록 설계된 IBM Z에서 직접 고성능 정책 기반 AI 추론을 제공합니다. IBM® Spyre 액셀러레이터를 기반으로 하며, 세계에서 가장 미션 크리티컬한 워크로드를 실행하는 플랫폼에 저지연, 높은 처리량, 보안이 강화된 모델 실행을 제공합니다.
생성형 AI가 비즈니스 전략을 재편함에 따라 IBM Z를 운영하는 조직은 효율적이고 안전하게, 그리고 인프라 비용 급증 없이 AI를 확장해야 한다는 분명한 과제에 직면해 있습니다. AI Optimizer for Z 2.1은 Z에서 데이터와 트랜잭션이 이미 활성화되어 있는 곳의 추론을 최적화하여 가치 창출 시간을 단축하는 동시에 AI 채택을 지연시키는 비효율성을 제거하여 이 문제를 해결합니다.
AI Optimizer for Z는 Advanced 에디션과 Essentials 에디션의 두 가지 에디션으로 제공됩니다.
AI Optimizer for Z 2.1 Essentials는 IBM® watsonx Assistant for Z 3.1 및 IBM Software Hub 5.2 설치를 원활하게 자동화하여 자동화 기능을 확장합니다.
주요 기능
- 실시간 모니터링
- 다단계 캐싱
- 최적화된 추론
- 외부 LLM 등록
- IBM Z용 생성형 AI
실시간 모니터링과 시각화
엔터프라이즈급 관측 가능성을 갖춘 IBM Z 에서 생성형 AI 추론에 대한 완전한 가시성을 확보하세요. 기본 제공되는 Prometheus 및 Grafana 대시보드를 통해 다음에 대한 심층적인 인사이트를 얻을 수 있습니다.
- 지연 시간 및 성능 추론
- 하드웨어 및 Spyre 활용
- 모델 사용 및 애플리케이션 간 활동
- 병목 현상 및 이상 징후 식별
이러한 투명성은 오버프로비저닝을 없애고, 용량 계획을 간소화하며, 더 스마트한 인프라 투자를 유도하는 데 도움이 됩니다.
다단계 캐싱
AI Optimizer for Z 2.1은 생성형 AI 추론을 가속화하기 위해 단계적 캐싱 모델을 도입했습니다.
- 레벨 1: 여러 하드웨어 장치에 배포된 모델당 키값(KV) 캐싱을 통해 하드웨어 활용도를 최적화합니다.
- 레벨 2: 여러 모델 배포에 걸쳐 공유 캐싱. 캐싱은 첫 토큰 생성 시간(TTFT)을 단축하고 처리량을 개선하며 하드웨어 사용률을 최적화합니다.
최적화된 추론 (Spyre 모델용)
AI Optimizer는 Spyre에서 실행되는 모델을 등록하여 최적화합니다. 사용자는 자체 라우팅 전략을 구성하거나 성능, 가용성 및 사용 패턴을 고려하는 내장 지능형 라우터를 사용할 수 있습니다. 시맨틱 태깅을 통해 사용 사례에 맞춘 라우팅을 위해 모델을 그룹화할 수 있으므로 추론 요청에 대한 유연성이 향상됩니다.
외부 대형언어모델(LLM) 등록
IBM Z 외부에 배포된 모델도 플랫폼 내 모델과 함께 등록, 태그 지정, 그룹화 및 모니터링할 수 있습니다. 이를 통해 하이브리드 환경 전반에 걸쳐 생성형 AI 추론에 대한 통합된 운영 관점을 제공하고 거버넌스 및 성능 추적의 일관성을 보장합니다.
IBM Z® 용 생성형 AI 배포 간소화
AI Optimizer for Z는 IBM watsonx Assistant for Z와 같은 주요 IBM Z 생성형 AI 구성 요소 및 제품의 설치와 구성을 자동화하여 빠르고 안정적인 설정을 보장합니다. 또한 인프라를 검증하고 손쉬운 모니터링을 위한 상황 대시보드를 제공합니다. 이를 통해 복잡성을 줄이고 제품 출시 시간을 단축할 수 있습니다.
AI Optimizer on Z 및 watsonx Assistant for Z
AI Optimizer for Z와 IBM Spyre 액셀러레이터의 IBM watsonx Assistant for Z가 만나면 기업은 애플리케이션과 추론 최적화가 완벽하게 조화를 이루는 두 가지 장점을 모두 누릴 수 있습니다. AI Optimizer는 모든 쿼리, 추론, 모델 호출이 최대 효율을 위해 라우팅, 캐시, 확장되도록 보장하며, Assistant는 고객 및 직원과 자연스럽고 대화 형식의 소통을 제공합니다. Spyre의 고성능, 에너지 효율적인 아키텍처를 기반으로 두 가지를 결합하면 더 빠른 응답, 낮은 지연 시간, 그리고 종단 간 가시성을 가능하게 하여, 고객 상호작용을 더 스마트하고 빠르며 기업 규모에 맞게 설계된 매끄러운 AI 기반 경험으로 전환합니다.
