Integrierte KI, die skalierbar, energieeffizient und sicher ist
KI-gestützte Leistung und Innovation
Künstliche Intelligenz (KI) verändert ganze Branchen. Vor diesem Hintergrund benötigen Unternehmen eine Infrastruktur, die KI-Workloads sowohl effizient als auch sicher bewältigen kann.
IBM LinuxONE, unterstützt durch den IBM® Telum-Prozessor, integriert die KI-Beschleunigung direkt in den Chip und ermöglicht so die Echtzeit-Inferenz mehrerer KI-Modelle mit minimaler Latenz. Diese Funktionen – in Kombination mit KI und großen Sprachmodellen – ermöglichen es Unternehmen, Daten dort zu analysieren, wo sie sich befinden, und so schnellere und tiefere Erkenntnisse für geschäftskritische Anwendungen wie Betrugserkennung, Risikoanalyse und medizinische Bildgebung zu liefern.
Skalierbare KI für komplexe Workloads
Die IBM Spyre Accelerator-Karte ist ein 75 W PCIe Gen 5x KI-Beschleuniger mit 128 GB LPDDR5-Speicher, der für generative KI und multimodale LLMs optimiert ist.8 Mit 32 (+2) Kernen mit einem Scratchpad von 2 MB pro Kern und einer Kernauslastung von >55 % lässt sich Spyre nach Karten und Schubladen skalieren und ermöglicht es Unternehmen, komplexe KI-Inferenzen effizient über Unternehmensanwendungen hinweg zu handhaben.
Durch die Ergänzung von IBM LinuxONE 5 mit IBM Spyre Accelerator-Karten sind zusätzliche Anwendungsfälle möglich, darunter generative KI.
KI-Software und -Lösungen für IBM LinuxONE
Ein kuratierter Satz von KI-Frameworks, optimiert für IBM LinuxONE Integrated Accelerator for AI und mit einer verbesserten Leistung mit IBM Elite Support.
Eine Familie künstlich generierter Datensätze, die das Training von KI-Modellen und LLMs verbessern und IBM LinuxONE im Finanzwesen helfen, schnell auf effektive, relevante Daten für KI-Initiativen zuzugreifen.
Eine offene Plattform für die Verwaltung des Lebenszyklus von prädiktiven und generativen KI-Modellen im großen Maßstab in Hybrid-Cloud-Umgebungen.
Ein portables Modellformat, das eine Kompatibilität über mehrere Frameworks bietet und es KI-Entwicklern ermöglicht, Modelle einmalig zu erstellen und sie dann über verschiedene Laufzeiten, Tools und Compiler bereitzustellen.
Ein leistungsstarkes Open-Source-Framework für Modellentwicklung, Training und Inferenz, das ein umfangreiches, für LinuxONE optimiertes Ökosystem bietet.
Für Hochgeschwindigkeitstraining und -inferenz im maschinellen Lernen entwickelt, nutzt es den IBM Integrated Accelerator für KI, um die Leistung für Random Forest-, Extra Trees- und Gradient Boosting-Modelle zu steigern.
Ein Open-Source-Modellserver, optimiert für Linux on Z, der sowohl CPU- als auch GPU-Inferenzen unterstützt und gleichzeitig SIMD und den IBM Integrated Accelerator for KI nutzt.
Ein Tool, das die Bereitstellung von Deep-Learning-Modellen auf IBM Z vereinfacht und es Data Scientists ermöglicht, KI-Modelle für geschäftskritische Umgebungen zu optimieren.
ISV-Anwendungen
IBM arbeitet mit dem IBM LinuxONE Ecosystem zusammen, um ISVs dabei zu helfen, Lösungen für die heutigen Herausforderungen in den Bereichen KI, Nachhaltigkeit und Cybersicherheit bereitzustellen.
Entdecken Sie zwei innovative Lösungen, die auf Finanz- und Gesundheitseinrichtungen zugeschnitten sind: Clari5 Enterprise Fraud Management auf IBM LinuxONE 4 Express zur Betrugsprävention in Echtzeit und Exponential AI's Enso Decision Intelligence Platform auf LinuxONE für fortschrittliche KI-Lösungen im großen Maßstab.
Fußnoten
1 HAFTUNGSAUSSCHLUSS: Haftungsausschluss: Die Leistungsergebnisse basieren auf internen Tests von IBM, die auf IBM Systems Hardware des Maschinentyps 9175 ausgeführt wurden. Die OLTP-Anwendung und PostgreSQL wurden auf der IBM Systems Hardware bereitgestellt. Das KI-Setup des Credit Card Fraud Detection (CCFD) Ensembles besteht aus zwei Modellen (LSTM, TabFormer). Auf IBM Systems Hardware wurde die OLTP-Anwendung mit dem IBM Z Deep Learning Compiler (zDLC) kompiliertem JAR und IBM Z Accelerated for NVIDIA® Triton™ Inference Server lokal ausgeführt und die KI-Inferenzoperationen auf Kernen und dem Integrated Accelerator for AI im Gegensatz zur Ausführung der OLTP Anwendung lokal ausgeführt und die Remote KI-Inferenzvorgänge auf einem x86 Server verarbeitet, auf dem NVIDIA Triton Inference Server mit OpenVino™ Laufzeit-Backend auf CPU (mit AMX) ausgeführt wird. Jedes Szenario wurde von Apache JMeter™ 5.6.3 mit 64 parallelen Benutzern gesteuert. IBM Systems Hardwarekonfiguration: 1 LPAR mit Ubuntu 24.04 mit 7 dedizierten Kernen (SMT), 256 GB Arbeitsspeicher und IBM FlashSystem 9500 Speicher. Die Netzwerkadapter waren für NETH unter Linux dediziert. x86-Server-Konfiguration: 1 X86 Server mit Ubuntu 24.04 mit 28 Emerald Rapids Intel Xeon Gold CPUs bei 2.20 GHz mit eingeschaltetem Hyper-Threading, 1 TB Arbeitsspeicher, lokalen SSDs, UEFI mit aktiviertem maximalen Leistungsprofil, CPU P-State Control und C-States deaktiviert. Die Ergebnisse können abweichen.
2, 3 HAFTUNGSAUSSCHLUSS: Die Leistungsergebnisse wurden aus internen IBM Tests extrapoliert, die auf IBM Systems Hardware des Maschinentyps 9175 ausgeführt wurden. Der Benchmark wurde mit 1 Thread ausgeführt, der lokale Inferenzvorgänge mithilfe eines LSTM-basierten synthetischen Modells zur Betrugserkennung durchführte, um den integrierten Beschleuniger für KI zu nutzen. Es wurde eine Stapelgröße von 160 verwendet. IBM Systems Hardwarekonfiguration: 1 LPAR mit Red Hat Enterprise Linux 9.4 mit 6 Kernen (SMT), 128 GB Arbeitsspeicher. Die Ergebnisse können abweichen.