Bei der Modellbereitstellung wird ein Modell für maschinelles Lernen (ML) in eine Produktionsumgebung integriert. Wenn ein Modell von der Entwicklung in die Produktion überführt wird, steht es Endbenutzern, Softwareentwicklern und anderen Softwareanwendungen und Systemen für künstliche Intelligenz (KI) zur Verfügung.
Die Bereitstellung von Modellen für maschinelles Lernen ist eine entscheidende Phase im KI-Lebenszyklus. Data Scientists, KI-Entwickler und KI-Forscher arbeiten in der Regel an den ersten Phasen von Data-Science- und ML-Projekten, einschließlich Datenerfassung und -vorbereitung, Modellentwicklung, Modelltraining und Modellevaluierung. Die Bereitstellung von Modellen ist der nächste Schritt, um die Forschung in die reale Welt zu bringen. Nach der Bereitstellung wird ein KI-Modell wirklich getestet – nicht nur in Bezug auf Inferenz oder Echtzeitleistung bei neuen Daten, sondern auch darauf, wie gut es die Probleme löst, für die es entwickelt wurde.
Laut einer Umfrage von Gartner ist generative KI die am häufigsten bereitgestellte KI-Lösung in Unternehmen, aber nur die Hälfte (rund 48 %) der KI-Projekte schafft es in die Produktion.1 Erst wenn ein Modell für maschinelles Lernen bereitgestellt wird, kann sein wahrer Wert zum Vorschein kommen. Benutzer können mit einem Modell interagieren und von seinen Erkenntnissen profitieren, während Unternehmen die Analysen und Prognosen eines Modells für die Entscheidungsfindung nutzen und die Effizienz durch Automatisierung steigern und von seinem Nutzen profitieren können.
Erhalten Sie kuratierte Einblicke in die wichtigsten – und faszinierendsten – KI-Neuheiten. Abonnieren Sie unseren wöchentlichen Think-Newsletter. Weitere Informationen in der IBM Datenschutzerklärung.
Unternehmen können je nach Anwendungen und Anwendungsfällen, die sie für ihre neuen Modelle vorstellen, zwischen verschiedenen Bereitstellungsansätzen wählen. Hier sind einige gängige Methoden zur Modellbereitstellung:
Bei der Bereitstellung in Echtzeit wird ein vortrainiertes Modell in eine Produktionsumgebung integriert, die Dateneingaben und -ausgaben sofort verarbeiten kann. Dank dieser Methode können Online-ML-Modelle kontinuierlich aktualisiert werden und schnell Vorhersagen generieren, wenn neue Daten eingehen.
Sofortige Vorhersagen können zu einem besseren Erfahrung und einer erhöhten Benutzerinteraktion führen. Aber die Bereitstellung in Echtzeit erfordert auch eine Infrastruktur mit hoher Leistung und schnellen Antwortzeiten und Caching zur Verwaltung synchroner Anfragenmit geringer Latenz.
Echtzeit-Bereitstellung kann für KI-Anwendungen wie Empfehlungs-Engines schnell Vorschläge servierend oder Chatbots Live-Unterstützung für Kunden bietend implementiert werden.
Die Batch-Bereitstellung beinhaltet die Offline-Verarbeitung von Eingaben. Datensätze werden in Batches gruppiert und dann periodisch auf maschinelles Lernen angewendet. Daher benötigt die Batch-Bereitstellung keine so robuste Infrastruktur wie die Echtzeit-Bereitstellung.
Diese Methode eignet sich für große Datenmengen, die asynchron verarbeitet werden können, wie z. B. Finanztransaktionen, Krankenakten oder juristische Dokumente. Zu den Anwendungsfällen für die Batch-Bereitstellung gehören Dokumentenanalyse, Forecasting, Erstellung von Produktbeschreibungen, Bild Klassifizierung und Stimmungsanalyse.
Die Streaming-Bereitstellung speist regelmäßige Datenströme in ein maschinelles Lernsystem für kontinuierliche Berechnungen und Vorhersagen nahezu in Echtzeit ein. Sie erfordert im Allgemeinen die gleiche Infrastruktur wie die Bereitstellung.
Diese Methode kann zur Betrugserkennung und für Anwendungen des Internets der Dinge (IoT) eingesetzt werden, wie z. B. die Überwachung von Kraftwerken und das Verkehrsmanagement, die auf Sensordatenströmen beruhen.
Edge-Deployment bezieht sich auf die Bereitstellung von KI-Modellen auf Edge-Geräten wie Smartphones und Wearables. Diese Methode kann für Edge-KI-Anwendungen verwendet werden, einschließlich Gesundheitsüberwachung, personalisierte mobile Erlebnisse, vorausschauende Wartung und vorausschauendes Routing auf autonomen Fahrzeugen.
Machine Learning Operations (MLOps) umfasst eine Reihe von Verfahren, die darauf abzielen, eine Produktionslinie zum Bereitstellen, Überwachen, Verwalten und Verbessern von Modellen für maschinelles Lernen in Produktionsumgebungen zu schaffen. MLOps baut auf den Prinzipien von DevOps auf – die sich auf die Rationalisierung der Entwicklung, das Testen und die Bereitstellung traditioneller Software-Anwendungen konzentrieren – und wendet sie auf den Lebenszyklus des maschinellen Lernens an.
Die Modellbereitstellung ist nur eine Komponente der MLOps-Pipeline. Einige Schritte im Modellbereitstellungsprozess überschneiden sich jedoch mit denen in MLOps.
Die Modellbereitstellung kann je nach den IT-Systemen eines Unternehmens und den bereits vorhandenen DevOps- oder MLOps-Verfahren variieren. Aber der Prozess umfasst in der Regel diese Reihe von Schritten:
Bevor die Bereitstellung überhaupt beginnt, müssen sich Unternehmen auf den Prozess vorbereiten. So können Unternehmen während der Planungsphase die technische Bereitschaft erreichen:
Dies ist auch die Zeit, um einen Zeitplan für die Bereitstellung zu entwickeln, die Rollen und Verantwortlichkeiten der Beteiligten zu definieren und klare Richtlinien und standardisierte Workflows für den Modellbereitstellungsprozess zu erstellen.
Wie die Planung ist auch die Einrichtung eine mehrstufige Phase. Folgendes passiert normalerweise in dieser Phase:
Die Dokumentation aller Einrichtungsvorgänge und Konfigurationseinstellungen ist für die Fehlerbehebung und Behebung von Problemen in der Zukunft unerlässlich.
Das Modell und seine Abhängigkeiten sind in einen Container gepackt (eine Technik, die als Containerisierung bezeichnet wird), um die Konsistenz unabhängig von der gewählten Bereitstellungsmethode und Umgebung aufrechtzuerhalten. Das gepackte Modell wird dann in die Produktionsumgebung geladen.
Gründliche Tests sind entscheidend, um zu validieren, dass das bereitgestellte Modell wie beabsichtigt funktioniert und Edge-Cases und fehlerhafte Instanzen bewältigen kann. Das Testen umfasst die Überprüfung der Vorhersagen des Modells gegen die erwarteten Ausgaben anhand eines Datensatzes und die Sicherstellung, dass die Leistung mit den wichtigsten Metriken und Benchmarks übereinstimmt.
Integration-Tests sind eine weitere notwendige Komponente der Suite. Diese Tests überprüfen, ob sich das Modell nahtlos in die Produktionsumgebung einfügt und reibungslos mit anderen Systemen interagiert. Zusätzlich werden Stresstests durchgeführt, um zu beobachten, wie das Modell hohe Workloads bewältigt.
Wie bei der Einrichtungsphase ist es wichtig, zu dokumentieren, welche Tests durchgeführt wurden und welche Ergebnisse sie erzielt haben. So können Verbesserungen ermittelt werden, die vor der Auslieferung oder Freigabe des Modells an die Benutzer vorgenommen werden können.
Die Verfolgung der Modellleistung, insbesondere der Modelldrift, ist die entscheidende Aufgabe der Modellüberwachung. Erkenntnisse aus der kontinuierlichen Überwachung fließen in das iterative Modelltraining ein, bei dem die Modelle mit verbesserten Algorithmen oder neuen Trainingsdaten aktualisiert werden, die aktuellere und relevantere Proben enthalten, um ihre Leistung zu verfeinern.
Wichtige Metriken wie Fehlerraten, Latenz, Ressourcennutzung und Durchsatz müssen ebenfalls mit Überwachungstools protokolliert werden. Die Modellüberwachung erfolgt unmittelbar nach der Bereitstellung, fällt aber in der Regel langfristig in den Zuständigkeitsbereich von MLOps.
Die kombinierten Praktiken der kontinuierlichen Integration und kontinuierlichen Bereitstellung (bekannt als CI/CD) können die Bereitstellung und das Testen von ML-Modellen automatisieren und rationalisieren. Die Implementierung von CI/CD-Pipelines hilft sicherzustellen, dass Modellaktualisierungen und -verbesserungen einfach und schnell angewendet werden können, was zu einer effizienteren Bereitstellung und beschleunigten Lieferzyklen führt.
Es steht eine Vielzahl von Plattformen und Tools zur Verfügung, die Unternehmen dabei helfen, die Workflows für die Modellbereitstellung zu beschleunigen. Vor der Einführung dieser Technologien müssen Unternehmen die Kompatibilität mit ihrem bestehenden Technologie-Stack und IT-Ökosystem bewerten.
Versionskontrollsysteme und Modellregister erfassen Modellversionen und die zugehörigen Datenquellen und Metadaten. Sie haben die Wahl zwischen Data Version Control (DVC), Git, GitLab und Gewichte & Verzerrungen.
Docker ist eine weit verbreitete Open-Source-Plattform für die Containerisierung. Es ist kompatibel mit Cloud-Service-Anbietern wie Amazon Web Services (AWS), Google Cloud, IBM Cloud® und Microsoft Azure. Zu den Alternativen gehören die Buildah-Befehlszeilenschnittstelle (CLI), Podman und Rancher Desktop.
Kubernetes ist eine bekannte Open-Source-Container-Orchestrierungsplattform für die Planung und Automatisierung der Bereitstellung containerisierter Anwendungen. Kubernetes und Docker werden in der Regel zusammen verwendet. Zu den ähnlichen Orchestrierungstools gehören Red Hat OpenShift, Amazon Elastic Container Service (ECS) und verwaltete Kubernetes-Lösungen wie Azure Kubernetes Service (AKS) und IBM Cloud Kubernetes Service.
Es gibt mehrere Plattformen für den Einsatz von Modellen. BenToML ist zum Beispiel eine Python-basierte Plattform für die Bereitstellung von ML-Modellen als API-Endpunkte (Application Programming Interface) und sogar Large Language Models (LLMs) als API-Endpunkte. Kubeflow erleichtert die Modellbereitstellung auf Kubernetes, während TensorFlow Serving ein Open-Source-Servierungssystem für TensorFlow-Modelle ist.
Inzwischen helfen andere Plattformen nicht nur bei der Modellbereitstellung, sondern verwalten auch Workflows für maschinelles Lernen. Dazu gehören Amazon SageMaker, Azure maschinelles Lernen, Google Vertex KI Plattform, IBM Watson Studio und MLflow.
CI/CD-Tools automatisieren die Bereitstellung und das Testen von Modellen. Zu den gängigen Tools gehören Continuous Machine Learning (CML), GitHub Actions, GitLab CI/CD und Jenkins.
Das Bereitstellen von Deep Learning -Modellen beinhaltet viele bewegliche Teile, was es zu einem komplizierten Unterfangen machen kann. Hier sind einige Herausforderungen im Zusammenhang mit der Modellbereitstellung:
Die Modellbereitstellung kann teuer sein, da die Infrastruktur- und Wartungskosten den größten Teil des Budgets verschlingen. Unternehmen müssen bereit sein, in eine robuste Infrastruktur und Ressourcen für eine effiziente Bereitstellung zu investieren.
Die Automatisierung der Modellbereitstellung kann dazu beitragen, die Komplexität zu verringern, aber die Teams müssen dennoch die Grundlagen des maschinellen Lernens verstehen und mit den neuen Technologien für die Bereitstellung vertraut sein. Um diese Lücke zu schließen, sind Schulungen und Weiterbildungen erforderlich.
Die Integration von KI-Modellen in aktuelle IT-Systeme kann eine Herausforderung sein. Durch eine detaillierte Bewertung können Unternehmen feststellen, ob APIs, Middleware oder Upgrades für die nahtlose Verbindung und Kommunikation zwischen Modellen und anderen Systemen benötigt werden.
Die Skalierung von Modellen je nach Bedarf ohne Leistungsverlust kann schwierig sein. Die Implementierung von Auto-Scaling- und Lastausgleichs-Mechanismen kann dazu beitragen, mehrere Anfragen und unterschiedliche Workloads zu unterstützen.
Trainieren, validieren, optimieren und implementieren Sie generative KI, Foundation Models und maschinelle Lernfunktionen mit IBM watsonx.ai, einem Studio der nächsten Generation für AI Builder in Unternehmen. Erstellen Sie KI-Anwendungen mit einem Bruchteil der Zeit und Daten.
Setzen Sie KI in Ihrem Unternehmen ein – mit branchenführendem Fachwissen im Bereich KI und dem Lösungsportfolio von IBM an Ihrer Seite.
Erfinden Sie kritische Workflows und Abläufe neu, indem Sie KI einsetzen, um Erfahrungen, Entscheidungsfindung in Echtzeit und den geschäftlichen Nutzen zu maximieren.