Beschleunigung der PyTorch-Inferenz auf IBM Z und IBM LinuxONE

18. November 2024

Autoren

Tina Tarquinio

VP, Product Management, IBM Z and LinuxONE

Elpida Tzortzatos

IBM Fellow and CTO of z/OS and AI on IBM Z and LinuxONE

Der Aufstieg von PyTorch: Transformation der KI-Entwicklung

In den letzten zehn Jahren haben wir eine dramatische Transformation in Unternehmen erlebt, die von KI geleitet werden. Der Aufstieg von Big Data und spezialisierter Hardware hat leistungsstarke KI-Modelle, die einst Eliteforschungsteams an Spitzenuniversitäten vorbehalten waren, für die breite Masse zugänglich gemacht. Tiefe neuronale Netze haben diese Demokratisierung vorangetrieben, und Deep Learning-Frameworks wie PyTorch und TensorFlow haben die Entwicklung dieser Modelle unterstützt. PyTorch hat sich zu einem wichtigen Akteur in der KI-Geschäftswelt entwickelt und bietet einzigartige Vorteile, die zu einer weit verbreiteten Nutzung und Akzeptanz geführt haben.

3D-Design aus Kugeln, die auf einer Schiene rollen

Die neuesten Erkenntnisse und Insights zu KI

Entdecken Sie von Experten kuratierte Erkenntnisse und Neuigkeiten zu KI, Cloud und mehr im wöchentlichen Newsletter Think. 

PyTorch-Beschleunigung mit IBM Z Telum On-Chip-Beschleuniger für KI

Jüngste Fortschritte bei den Hardware-KI-Beschleunigern haben die nötige Leistung für die effektive Nutzung von Deep-Learning-Frameworks wie PyTorch bereitgestellt. Diese Hardwareverbesserungen beschleunigen die Berechnung komplexerer Modelle auf großen Datensätzen sowie das Experimentieren und die Bereitstellung erheblich. Mit dem neuesten Continuous-Delivery-Update des KI-Toolkits für IBM Z und LinuxONE unterstützen wir PyTorch durch einen neuen Container: IBM Z Accelerated for PyTorch. Dieser enthält eine Entwicklungs- und Inferenzumgebung für PyTorch. Es werden neue Inferenzbeschleunigungsfunktionen genutzt, die transparent auf den IBM Integrated AI Accelerator abzielen und herkömmliches maschinelles Lernen und Deep Learning sowie Encoder LLMs erheblich beschleunigen. Diese Funktionen helfen, das Experimentieren mit schnellen PoCs zu beschleunigen und KI-Lösungen auf IBM Z und LinuxONE zu erstellen.

Mixture of Experts | Podcast

KI entschlüsseln: Wöchentlicher Nachrichtenüberblick

Schließen Sie sich unserer erstklassigen Expertenrunde aus Ingenieuren, Forschern, Produktführern und anderen an, die sich durch das KI-Rauschen kämpfen, um Ihnen die neuesten KI-Nachrichten und Erkenntnisse zu liefern.

Was ist PyTorch?

PyTorch ist ein Open-Source-Framework für maschinelles Lernen, das eine flexible Plattform für die Erstellung von Deep-Learning-Modellen bietet. PyTorch wurde 2016 vom Facebook-Forschungslabor für künstliche Intelligenz veröffentlicht und ermöglicht es Entwicklern, durch seine dynamische Struktur, die sofortiges Feedback bietet, Modelle einfach zu erstellen und zu ändern. Diese Anpassungsfähigkeit macht es besonders attraktiv für Forscher und Entwickler, die mit neuen Ideen experimentieren wollen.

Die Bedeutung von PyTorch im heutigen KI-Framework

PyTorch erfreut sich im KI-Ökosystem großer Beliebtheit. Seine benutzerfreundliche Oberfläche und seine leistungsstarken Funktionen haben es zum Framework der Wahl sowohl für die akademische Forschung als auch für Geschäftsanwendungen gemacht. PyTorch spielt eine entscheidende Rolle bei der Weiterentwicklung von Deep Learning, indem es Tools bereitstellt, die den Prozess der Erstellung und des Trainings komplexer Modelle vereinfachen. Seine Flexibilität ermöglicht es Entwicklern, mit verschiedenen Architekturen und Techniken zu experimentieren, was zu innovativeren Lösungen führt. Funktionen wie automatische Differenzierung und intuitive Tensormanipulation haben die Implementierung fortschrittlicher Algorithmen erleichtert, was zu schnellerem Fortschritt in Forschung und Anwendung geführt hat.

Einer der wichtigsten Bereiche, in denen PyTorch eine Rolle spielt, ist die Entwicklung großer Sprachmodelle (LLMs). Diese Modelle, die menschenähnlichen Text verstehen und generieren können, haben die Verarbeitung natürlicher Sprache revolutioniert. Frameworks wie PyTorch haben die Erstellung und Feinabstimmung dieser Modelle erleichtert und es Forschern ermöglicht, neue Architekturen und Trainingsmethoden effizienter zu erkunden.

Viele der neuesten, hochmodernen Sprachmodelle, einschließlich derer, die von großen Technologieunternehmen entwickelt wurden, wurden mit PyTorch implementiert. Die Fähigkeit des Frameworks, enorme Datenmengen zu verarbeiten und verteiltes Training zu unterstützen, hat die Skalierung von Modellen ermöglicht, die Kontext und Nuancen in der Sprache erfassen können.

Mit IBM Z Accelerated for PyTorch, das über das KI-Toolkit für IBM Z und LinuxONE bereitgestellt wird, können unsere Kunden PyTorch-Modellbereitstellungen mit der Zuverlässigkeit, Verfügbarkeit und Skalierbarkeit von IBM Z sowie den Inferenzbeschleunigungsfunktionen des Telum On-Chip Accelerator nutzen. Diese Inferenzbeschleunigung ist für die Kunden transparent, da die Container so konzipiert sind, dass sie die Neural Network Processing Assist (NNPA)-Anweisungen von Telum transparent und automatisch nutzen.

Kunden können diese Funktion nun für hochwertige Anwendungsfälle wie Betrugserkennung, Schadensbearbeitung, Verarbeitung natürlicher Sprache und Bilderkennung nutzen. Diese Modelle können im nativen PyTorch-Format bereitgestellt oder in Formate wie ONNX exportiert werden, die hochgradig für Inferencing optimiert sind.

Unabhängig davon, ob die PyTorch-Modelle auf z/OS oder in einer Linux on IBM Z-Umgebung bereitgestellt werden, hilft die Colocation dieser Modelle mit den geschäftskritischen Daten und Anwendungen unserer Kunden, Geschäftseinblicke in großem Maßstab zu gewinnen und dabei selbst die strengsten Service-Level-Agreements einzuhalten.

AI Toolkit for IBM Z und LinuxONE

Das KI-Toolkit für IBM Z und IBM LinuxONE wurde entwickelt, um unseren Kunden die Möglichkeit zu geben, beliebte Open-Source-KI-Frameworks auf ihren z/OS- und IBM LinuxONE-Plattformen einzusetzen und deren Einführung zu beschleunigen. Das KI-Toolkit folgt einem strengen IBM Secure Engineering-Verfahren, das Open-Source-KI-Frameworks und IBM-zertifizierte Container auf Sicherheitsschwachstellen überprüft und die Einhaltung von Branchenvorschriften validiert. Kunden können außerdem IBM Elite Support for AI Toolkit for IBM Z und LinuxONE erwerben.

Erfahren Sie mehr über das KI-Toolkit für IBM Z und IBM LinuxONE

Erfahren Sie, was Sie vom IBM Elite Support erwarten können

Weiterführende Lösungen
IBM watsonx.ai

Trainieren, validieren, optimieren und implementieren Sie generative KI, Foundation Models und maschinelle Lernfunktionen mit IBM watsonx.ai, einem Studio der nächsten Generation für AI Builder in Unternehmen. Erstellen Sie KI-Anwendungen mit einem Bruchteil der Zeit und Daten.

Entdecken sie watsonx.ai
Lösungen im Bereich künstlicher Intelligenz

Setzen Sie KI in Ihrem Unternehmen ein – mit branchenführendem Fachwissen im Bereich KI und dem Lösungsportfolio von IBM an Ihrer Seite.

Erkunden Sie KI-Lösungen
KI-Beratung und -Services

Erfinden Sie kritische Workflows und Abläufe neu, indem Sie KI einsetzen, um Erfahrungen, Entscheidungsfindung in Echtzeit und den geschäftlichen Nutzen zu maximieren.

KI-Services entdecken
Machen Sie den nächsten Schritt

Profitieren Sie von einem einheitlichen Zugriff auf Funktionen, die den gesamten Lebenszyklus der KI-Entwicklung abdecken. Erstellen Sie leistungsstarke KI-Lösungen mit benutzerfreundlichen Oberflächen, Workflows und Zugriff auf branchenübliche APIs und SDKs.

watsonx.ai erkunden Live-Demo buchen