Foundation Models an der Edge

Foundation Models (FMs) markieren den Beginn einer neuen Ära im maschinellen Lernen (ML) und der künstlichen Intelligenz (KI), was zu einer schnelleren Entwicklung von KI führt, die an eine breite Palette von nachgelagerten Aufgaben angepasst und für eine Vielzahl von Anwendungen feinabgestimmt werden kann. 

Angesichts der zunehmenden Bedeutung der Datenverarbeitung am Ort der Ausführung ermöglicht der Einsatz von KI-Modellen am Unternehmensrand nahezu Echtzeit-Prognosen unter Einhaltung der Anforderungen an Datenhoheit und Datenschutz. Durch die Kombination der IBM watsonx-Funktionen für FMs mit Edge-Computing können Unternehmen KI-Workloads für die Feinabstimmung und Inferenz von FMs an der operativen Edge ausführen. So können Unternehmen KI-Bereitstellungen an der Edge skalieren und durch schnellere Reaktionszeiten den Zeit- und Kostenaufwand für die Bereitstellung reduzieren.

Bitte sehen Sie sich alle Folgen dieser Reihe von Blogbeiträgen zum Thema Edge Computing an:

• Teil 1: „Cloud an der Edge“
• Teil 2: „Architektur an der Edge“
• Teil 3: „DevOps an der Edge“
• Teil 4: „Sicherheit an der Edge“
• Teil 5: „5G an der Edge“
• Teil 6: „Cluster an der Edge“
• Teil 7: „Automatisierung an der Edge“
• Teil 8: „Netzwerk-Slicing an der Edge“
• Teil 9: „Daten an der Edge“
• Teil 10: „Architektonische Entscheidungen an der Edge“
• Teil 11: „GitOps an der Edge“
• Teil 12: „Speicherservices an der Edge“
• Teil 13: „Cloud-Services an der Edge“
• Teil 14: „Datensouveränität an der Edge“
• Teil 15: „Vernetzte Produkte an der Edge“
• Teil 16: „Foundation Models an der Edge“

Foundation Models (FMs), die auf einer breiten Palette von unbeschrifteten Daten in großem Maßstab trainiert werden, sind die treibende Kraft hinter modernsten Anwendungen der künstlichen Intelligenz (KI). Sie können an eine Vielzahl von nachgelagerten Aufgaben angepasst und für eine Reihe von Anwendungen optimiert werden. Moderne KI-Modelle, die spezifische Aufgaben in einem einzigen Bereich ausführen, werden zunehmend durch Foundation Models ersetzt, da diese allgemeiner lernen und bereichs- und problemübergreifend arbeiten. Wie der Name schon sagt, kann ein Foundation Models die Grundlage für viele Anwendungen des KI-Modells bilden.

Foundation Models befassen sich mit zwei zentralen Herausforderungen, die Unternehmen bisher daran gehindert haben, den Einsatz von KI auszuweiten. Zunächst produzieren Unternehmen eine große Menge an unbeschrifteten Daten, von denen nur ein Bruchteil für das Training von KI-Modellen beschriftet wird. Zweitens ist diese Aufgabe der Beschriftung und Annotation äußerst personalintensiv und erfordert häufig mehrere hundert Stunden Arbeitszeit eines Fachexperten (Subject Matter Expert, SME). Dies macht eine Skalierung über verschiedene Anwendungsfälle hinweg unerschwinglich, da hierfür eine Vielzahl von Fachleuten und Datenexperten erforderlich wäre. Durch die Aufnahme großer Mengen unbeschrifteter Daten und den Einsatz selbstüberwachter Techniken für das Modelltraining haben Foundation Models diese Hindernisse beseitigt und den Weg für eine breite Einführung von KI im gesamten Unternehmen geebnet. Diese umfangreichen Datenmengen, die in jedem Unternehmen vorhanden sind, warten darauf, genutzt zu werden, um Erkenntnisse zu gewinnen.

Große Sprachmodelle (LLMs) sind eine Klasse von Foundation Model (FM), die aus Schichten neuraler Netze bestehen, die auf diesen riesigen Mengen unbeschrifteter Daten trainiert wurden. Sie verwenden selbstüberwachte Lernalgorithmen, um eine Vielzahl von Aufgaben der Verarbeitung natürlicher Sprache (NLP) auf eine Weise auszuführen, die der Verwendung von Sprache durch Menschen ähnelt (siehe Abbildung 1).

Der Aufbau und die Bereitstellung eines Foundation Models (FM) umfassen mehrere Schritte. Dazu gehören die Datenerfassung, Datenauswahl, Datenvorverarbeitung, FM-Vortraining, Modelloptimierung für eine oder mehrere nachgelagerte Aufgaben, Inferenzbereitstellung sowie Daten- und KI-Modell-Governance und Lebenszyklusmanagement – all dies kann als FMOps bezeichnet werden.

Um all dies zu unterstützen, bietet IBM Unternehmen die notwendigen Werkzeuge und Funktionen, um die Leistungsfähigkeit dieser FMs über das IBM watsonx-Portfolio von KI-Produkten zu nutzen, die darauf ausgelegt sind, die Wirkung von KI in einem Unternehmen zu vervielfachen. IBM watsonx besteht aus folgenden Komponenten:

1. IBM watsonx.ai vereint neue generative KI-Funktionen—angetrieben durch FMs und traditionelles maschinelles Lernen (ML)—in einem leistungsstarken Studio, das den gesamten KI-Lebenszyklus abdeckt.
2. IBM watsonx.data ist ein Datenspeicher, der auf einer offenen Lakehouse-Architektur basiert, um KI-Workloads für alle Ihre Daten und überall zu skalieren.
3. IBM watsonx.governance ist ein durchgängig automatisiertes KI-Lifecycle-Governance-Toolkit, das verantwortungsvolle, transparente und erklärbare KI-Workflows ermöglicht.

Ein weiterer wichtiger Faktor ist die zunehmende Bedeutung der Datenverarbeitung an der Edge des Unternehmens, beispielsweise an Industriestandorten, in Fertigungsstätten, Einzelhandelsgeschäften, Telekommunikationsstandorten usw. Genauer gesagt ermöglicht KI am Edge die Verarbeitung von Daten dort, wo die Arbeit ausgeführt wird, für eine nahezu in Echtzeit-Analyse. Die Enterprise-Edge ist der Ort, an dem riesige Mengen an Unternehmensdaten generiert werden und wo die KI wertvolle, zeitnahe und umsetzbare Geschäftserkenntnisse liefern kann.

Die Bereitstellung von KI-Modellen am Edge ermöglicht nahezu in Echtzeit Prognosen und erfüllt gleichzeitig die Anforderungen an Datenhoheit und Datenschutz. Dadurch wird die Latenz, die häufig mit der Erfassung, Übertragung, Umwandlung und Verarbeitung von Inspektionsdaten verbunden ist, erheblich reduziert. Die Arbeit am Edge ermöglicht es uns, sensible Unternehmensdaten zu schützen und die Datenübertragungskosten durch schnellere Reaktionszeiten zu reduzieren.

Die Skalierung von KI-Bereitstellungen in der Peripherie ist jedoch keine leichte Aufgabe angesichts der Herausforderungen im Zusammenhang mit Daten (Heterogenität, Volumen und Vorschriften) und begrenzten Ressourcen (Rechenleistung, Netzwerkkonnektivität, Speicher und sogar IT-Kenntnisse). Diese lassen sich grob in zwei Kategorien einteilen:

• Zeit- und Kostenaufwand für die Bereitstellung: Jede Bereitstellung besteht aus mehreren Hardware- und Softwareebenen, die vor der Bereitstellung installiert, konfiguriert und getestet werden müssen. Heutzutage kann ein Servicetechniker bis zu ein oder zwei Wochen für die Installation an jedem Standort benötigen, was die Geschwindigkeit und Kosteneffizienz bei der Bereitstellung in seinem Unternehmen stark einschränkt.
• Management am zweiten Tag: Die große Anzahl der eingesetzten Edge-Geräte und die geografische Lage der einzelnen Einsatzorte können es oft unerschwinglich machen, an jedem Standort lokalen IT-Support für die Überwachung, Wartung und Aktualisierung dieser Einsatzorte bereitzustellen.

IBM hat eine Edge-Architektur entwickelt, die diesen Herausforderungen begegnet, indem sie ein integriertes Hardware-/Software-Appliance-Modell (HW/SW) für Edge-KI-Bereitstellungen einführt. Sie besteht aus mehreren Schlüsselparadigmen, die Skalierbarkeit von KI-Bereitstellungen unterstützen:

• Richtlinienbasierte, automatische Bereitstellung des gesamten Software-Stack.
• Kontinuierliche Überwachung des Zustands von Edge-Systemen
• Funktionen zur Verwaltung und Bereitstellung von Software-/Sicherheits-/Konfigurationsupdates an zahlreiche Edge-Standorte – alles von einem zentralen cloudbasierten Standort aus für die Verwaltung im laufenden Betrieb.

Eine verteilte Hub-and-Spoke-Architektur kann genutzt werden, um KI-Implementierungen in Unternehmen am Netzwerkrand zu skalieren. Dabei fungiert eine zentrale Cloud oder ein Rechenzentrum des Unternehmens als Hub und die Edge-in-a-Box-Appliance als Spoke an einem Edge-Standort. Dieses Hub-and-Spoke-Modell, das sich über Hybrid-Cloud- und Edge-Umgebungen erstreckt, veranschaulicht am besten das notwendige Gleichgewicht für eine optimale Nutzung der für den FM-Betrieb erforderlichen Ressourcen (siehe Abbildung 2).

Das Vorabtraining dieser großen Sprachmodelle (LLMs) und anderer Arten von Foundation Models unter Verwendung selbstüberwachter Techniken auf umfangreichen unbeschrifteten Datensätzen erfordert häufig erhebliche Rechenressourcen (GPU) und sollte vorzugsweise an einem zentralen Standort durchgeführt werden. Die nahezu unbegrenzten Ressourcen und großen Datenstapel, die oft in der Cloud gespeichert werden, ermöglichen das Vortraining von Modellen mit großen Parametern und eine kontinuierliche Verbesserung der Genauigkeit dieser Foundation Model.

Andererseits kann die Abstimmung dieses grundlegenden Foundation Models für nachgelagerte Aufgaben, für die nur einige zehn oder hunderte gekennzeichnete Datenproben und Inferenzbereitstellung erforderlich sind, mit nur wenigen GPUs am Unternehmensrand durchgeführt werden. Dadurch können vertrauliche, markierte Daten (oder Unternehmensdaten) sicher in der betrieblichen Umgebung des Unternehmens aufbewahrt werden, während gleichzeitig die Datenübertragungskosten gesenkt werden.

Mit einem Full-Stack-Ansatz für die Bereitstellung von Anwendungen bis zur Edge kann ein Data Scientist die Modelle optimieren, testen und bereitstellen. Dies kann in einer einzigen Umgebung erreicht werden, während gleichzeitig der Entwicklungszyklus für die Bereitstellung neuer KI-Modelle für die Endnutzer verkürzt wird. Plattformen wie Red Hat OpenShift Data Science (RHODS) und das kürzlich angekündigte Red Hat OpenShift AI bieten Tools zur schnellen Entwicklung und Bereitstellung produktionsreifer KI-Modelle in verteilten Cloud- und Edge-Umgebungen.

Und schließlich wird durch die Bereitstellung des fein abgestimmten KI-Modells am Unternehmensrand die Latenzzeit, die häufig mit der Erfassung, Übertragung, Transformation und Verarbeitung von Daten verbunden ist, deutlich reduziert. Durch die Entkopplung des Vortrainings in der Cloud von der Feinabstimmung und Inferenz am Edge werden die gesamten Betriebskosten gesenkt, da der Zeitaufwand und die mit jeder Inferenzaufgabe verbundenen Datenbewegungskosten reduziert werden (siehe Abbildung 3).

Um dieses Wertversprechen durchgängig zu demonstrieren, wurde ein auf einem Vision-Transformer basierendes Foundation Model für öffentliche Infrastrukturen (das mit öffentlichen und benutzerdefinierten Branchen-spezifischen Datensätzen trainiert wurde) optimiert und für die Inferenz auf einem Edge mit drei Knoten bereitgestellt (Cluster). Der Software-Stack umfasste die Red Hat OpenShift Container Platform und Red Hat OpenShift Data Science. Dieser Edge-Cluster war außerdem mit einer Instanz des Red Hat Advanced Cluster Management for Kubernetes (RHACM)-Hubs verbunden, der in der Cloud lief.

Die richtlinienbasierte Zero-Touch-Bereitstellung erfolgte mit Red Hat Advanced Cluster Management for Kubernetes (RHACM) über Richtlinien und Platzierungstags, die bestimmte Edge-Cluster an eine Reihe von Softwarekomponenten und Konfigurationen binden. Diese Softwarekomponenten – die sich über den Full Stack erstrecken und Rechenleistung, Speicher, Netzwerk und KI-Workload abdecken – wurden mit verschiedenen OpenShift-Operatoren, zur Bereitstellung der erforderlichen Anwendungsdienste und S3 Bucket (Speicher) installiert.

Das vortrainierte Foundation Model (FM) für zivile Infrastruktur wurde mithilfe eines Jupyter Notebooks innerhalb von Red Hat OpenShift Data Science (RHODS) unter Verwendung von gekennzeichneten Daten optimiert, um sechs Arten von Mängeln an Betonbrücken zu klassifizieren. Die Inferenzfähigkeit dieses fein abgestimmten Foundation Models wurde auch mit einem Triton-Server demonstriert. Darüber hinaus wurde die Überwachung des Zustands dieses Edge-Systems ermöglicht, indem Beobachtungsmetriken aus den Hardware- und Softwarekomponenten über Prometheus im zentralen RHACM-Dashboard in der Cloud zusammengefasst wurden. Unternehmen im Bereich der zivilen Infrastruktur können diese Foundation Models an ihren Randstandorten einsetzen und mithilfe von Drohnenbildern Mängel nahezu in Echtzeit erkennen. Dadurch wird die Zeit bis zur Erkenntnisgewinnung verkürzt und die Kosten für die Übertragung großer Mengen hochauflösender Daten in die Cloud und zurück reduziert.

Die Kombination von IBM-watsonx-Fähigkeiten für Foundation Models (FMs) mit einer Edge-in-a-Box-Appliance ermöglicht es Unternehmen, KI-Workloads für FM-Feinabstimmung und -Inferenzen am operativen Rand auszuführen. Diese Appliance kann komplexe Anwendungsfall sofort verarbeiten und bildet das Hub-and-Spoke-Framework für zentrale Verwaltung, Automatisierung und Self-Service. Die Implementierung von Edge FM kann von Wochen auf Stunden verkürzt werden, bei wiederholbarem Erfolg, höherer Ausfallsicherheit und Sicherheit.

Bitte sehen Sie sich alle Folgen dieser Reihe von Blogbeiträgen zum Thema Edge Computing an:

• Teil 1: „Cloud an der Edge“
• Teil 2: „Architektur an der Edge“
• Teil 3: „DevOps an der Edge“
• Teil 4: „Sicherheit an der Edge“
• Teil 5: „5G an der Edge“
• Teil 6: „Cluster an der Edge“
• Teil 7: „Automatisierung an der Edge“
• Teil 8: „Netzwerk-Slicing an der Edge“
• Teil 9: „Daten an der Edge“
• Teil 10: „Architektonische Entscheidungen an der Edge“
• Teil 11: „GitOps an der Edge“
• Teil 12: „Speicherservices an der Edge“
• Teil 13: „Cloud-Services an der Edge“
• Teil 14: „Datensouveränität an der Edge“
• Teil 15: „Vernetzte Produkte an der Edge“
• Part 16: „Foundation Models an der Edge”