Progettato per scalare e ottimizzare l'inferenza gen AI
Informazioni generali
IBM AI Optimizer for Z offre inferenza AI ad alte prestazioni basata su policy direttamente su IBM Z, progettata per soddisfare le esigenze di gen AI su scala aziendale. Basato sull'acceleratore IBM Spyre, porta l'esecuzione di modelli a bassa latenza, alto throughput e security – rich alla piattaforma che esegue i workload più critici al mondo.
Mentre la gen AI rimodella la strategia aziendale, le organizzazioni che utilizzano IBM Z si trovano ad affrontare un chiaro obiettivo: scalare l'AI in modo efficiente, sicuro e senza costi infrastrutturali incontrollati. AI Optimizer per Z 2.1 indirizza questo problema ottimizzando l'inferenza in cui dati e transazioni sono già attivi su Z riducendo il time-to-value ed eliminando inefficienze che rallentano l'adozione dell'AI.
AI Optimizer for Z è disponibile in due edizioni: Advanced Edition e Essentials Edition.
AI Optimizer for Z 2.1 Essentials Edition estende le funzionalità di automazione con l'automazione senza interruzioni dell'installazione di IBM watsonx Assistant for Z 3.1 e IBM Software Hub 5.2.
Funzioni principali
- Monitoraggio in tempo reale
- Caching multilivello
- Inferenza ottimizzata
- Registrazione LLM esterna
- AI generativa per IBM Z
Monitoraggio e visualizzazioni in tempo reale
Ottieni una visibilità completa sull'inferenza gen AI in IBM Z con un'observability di livello aziendale. Le dashboard Prometheus e Grafana integrate forniscono insight approfonditi su:
- Latenza e prestazioni di inferenza
- Hardware e utilizzo di Spyre
- Utilizzo del modello e attività trasversale tra le applicazioni
- Identificazione di colli di bottiglia e delle anomalie
Questa trasparenza aiuta a eliminare l'over‑provisioning, a semplificare la pianificazione della capacità e a promuovere investimenti infrastrutturali più intelligenti.
Caching multilivello
AI Optimizer for Z 2.1 introduce un modello di caching a stadi per accelerare l'inferenza della gen AI:
- Livello 1: caching del valore chiave (KV) per implementazione del modello su più unità hardware, con conseguente ottimizzazione dell'utilizzo dell'hardware.
- Livello 2: caching condiviso tra più implementazioni di modelli. Il caching riduce il time-to-first-token (TTFT), migliora la produttività e ottimizza l'utilizzo dell'hardware.
Inferenza ottimizzata (per i modelli su Spyre)
AI Optimizer registra i modelli che girano su Spyre per l'ottimizzazione. Gli utenti possono configurare le proprie strategie di routing o affidarsi al router intelligente integrato, che considera prestazioni, disponibilità e modelli di utilizzo. Il tagging semantico consente di raggruppare i modelli per un instradamento allineato al caso d'uso, offrendo così maggiore flessibilità nelle richieste di inferenza.
Registrazione LLM esterna
I modelli implementati al di fuori di IBM Z o di LinuxONE possono essere registrati, taggati, raggruppati e monitorati insieme ai modelli on-platform. La soluzione fornisce una visione operativa unificata dell'inferenza gen AI in ambienti ibridi e garantendo coerenza nella governance e nel monitoraggio delle prestazioni.
Distribuzione semplificata dell'AI generativa per IBM Z
AI Optimizer for Z automatizza l'installazione e la configurazione dei principali componenti e prodotti gen AI di IBM Z come IBM watsonx Assistant for Z, garantendo una configurazione rapida e affidabile. Convalida l'infrastruttura e fornisce una dashboard per il monitoraggio dello stato di salute, riducendo la complessità e accelerando il tempo di produzione.
AI Optimizer su Z e watsonx Assistant for Z
Quando AI Optimizer for Z collabora con IBM watsonxAssistant for Z sull'acceleratore IBM Spyre, le aziende ottengono il meglio di entrambi i mondi: l'ottimizzazione delle applicazioni e delle inferenze in perfetta armonia. AI Optimizer garantisce che ogni query, inferenza e chiamata del modello venga instradata, memorizzata in cache e scalata per la massima efficienza, mentre l'Assistente garantisce un coinvolgimento naturale e conversazionale con clienti e dipendenti. Funzionando sull'architettura ad alte prestazioni e sull'efficienza energetica di Spyre, le due soluzioni insieme permettono risposte più rapide, latenza inferiore e visibilità end-to-end, trasformando le interazioni con i clienti in esperienze fluide, basate su AI più intelligenti, veloci e progettate per la scala aziendale.
Semplifica e trasforma il modo in cui i tuoi utenti interagiscono e gestiscono il mainframe con l'AI.
Accelera l'innovazione dell'AI su larga scala con l'infrastruttura IBM.
Risorse
