Entwickelt zum Skalieren und Optimieren von generativem KI-Inferencing
Überblick
IBM® AI Optimizer for Z bietet leistungsstarke, richtlinienbasierte KI-Inferenz direkt auf IBM Z und wurde entwickelt, um die Anforderungen von generativer KI im Unternehmensmaßstab zu erfüllen. Ausgestattet mit dem IBM Spyre Accelerator bietet es latenzarme, hochleistungsfähige und sicherheitsintensive Modellausführung für die Plattform, auf der die weltweit geschäftskritischsten Workloads ausgeführt werden.
Während generative KI die Geschäftsstrategie umgestaltet, stehen Unternehmen, die auf IBM Z laufen, vor einem klaren Auftrag: KI effizient, sicher und ohne ausufernde Infrastrukturkosten zu skalieren. Der AI Optimizer for Z 2.1 begegnet diesem Problem, indem er die Inferenz dort optimiert, wo Daten und Transaktionen bereits live sind – auf Z – wodurch die Zeit bis zur Wertschöpfung verkürzt und gleichzeitig Ineffizienzen beseitigt werden, die die Einführung von KI verlangsamen.
AI Optimizer for Z ist in zwei Editionen erhältlich: Advanced Edition und Essentials Edition.
AI Optimizer for Z 2.1 Essentials Edition erweitert die Automatisierungsfunktionen mit nahtloser Automatisierung der Installation von IBM watsonx Assistant for Z 3.1 und IBM Software Hub 5.2.
Hauptmerkmale
- Echtzeitüberwachung
- Mehrstufiges Caching
- Optimiertes Inferencing
- Externe LLM-Registrierung
- Generative KI für IBM Z
Überwachung und Visualisierungen in Echtzeit
Verschaffen Sie sich einen vollständigen Überblick über das generative KI-Inferencing in IBM Z mit Observability auf Unternehmensniveau. Integrierte Prometheus- und Grafana-Dashboards bieten umfassende Einblicke in:
- Inferencing-Latenz und -Leistung
- Hardware- und Spyre-Nutzung
- Modellnutzung und anwendungsübergreifende Aktivitäten
- Identifikation von Engpässen und Anomalien
Diese Transparenz hilft, Überversorgung zu beseitigen, die Kapazitätsplanung zu optimieren und intelligentere Investitionen in Infrastruktur zu fördern.
Mehrstufiges Caching
AI Optimizer for Z 2.1 führt ein abgestuftes Caching-Modell ein, um die generative KI-Inferenz zu beschleunigen:
- Stufe 1: Key Value (KV)-Caching pro Modellbereitstellung auf mehreren Hardwareeinheiten, was zu einer optimierten Hardwarenutzung führt.
- Stufe 2: Gemeinsames Caching über mehrere Modellbereitstellungen hinweg. Caching verkürzt die Zeit bis zum ersten Token (TTFT), verbessert den Durchsatz und optimiert zudem die Hardware-Auslastung.
Optimierte Inferenzierung (für Modelle auf Spyre)
AI Optimizer registriert Modelle, die auf Spyre laufen, zur Optimierung. Nutzer können ihre eigenen Routing-Strategien konfigurieren oder sich auf den integrierten intelligenten Router verlassen, der Leistung, Verfügbarkeit und Nutzungsmuster berücksichtigt. Semantisches Tagging ermöglicht das Gruppieren von Modellen für anwendungsfallorientiertes Routing und bietet so mehr Flexibilität bei Inferenzanfragen.
Externe LLM-Registrierung
Modelle, die außerhalb von IBM Z oder LinuxONE bereitgestellt werden, können zusammen mit den plattforminternen Modellen registriert, getaggt, gruppiert und überwacht werden. Dies ermöglicht eine einheitliche operative Sicht auf generative KI-Inferenzprozesse in hybriden Umgebungen und gewährleistet Konsistenz in der Steuerung und Leistungsüberwachung.
Optimierter Einsatz von generativer KI für IBM Z
AI Optimizer for Z automatisiert die Installation und Konfiguration wichtiger IBM Z Gen AI-Komponenten und -Produkte wie IBM watsonx Assistant for Z und gewährleistet so eine schnelle und zuverlässige Einrichtung. Er validiert die Infrastruktur und bietet ein Dashboard zur einfachen Überwachung des Zustands. Dies reduziert die Komplexität und beschleunigt die Produktionsaufnahme.
AI Optimizer on Z und watsonx Assistant for Z
Wenn AI Optimizer for Z auf IBM watsonx Assistant for Z auf dem IBM Spyre Accelerator trifft, profitieren Unternehmen von beiden Welten – Anwendungs- und Inferenzoptimierung in perfekter Harmonie. AI Optimizer stellt sicher, dass jede Abfrage, jeder Inferenz- und Modellaufruf weitergeleitet, zwischengespeichert und skaliert wird, um maximale Effizienz zu erzielen, während der Assistant eine natürliche, dialogorientierte Interaktion mit Kunden und Mitarbeitenden ermöglicht. Die beiden Systeme basieren auf der leistungsstarken und energieeffizienten Architektur von Spyre und ermöglichen gemeinsam schnellere Reaktionszeiten, geringere Latenz und durchgängige Transparenz – wodurch Kundeninteraktionen in nahtlose, KI-gestützte Erfahrungen verwandelt werden, die intelligenter, schneller und für den Unternehmenseinsatz ausgelegt sind.
Vereinfachen und transformieren Sie mit KI die Interaktion und Verwaltung Ihres Mainframe durch Ihre Benutzer.
Beschleunigen Sie KI-Innovationen in großem Maßstab mit der Infrastruktur von IBM.
Ressourcen
