Was ist ein KI-Stack?

Ähnlich wie Technologie-Stacks (oder Tech Stacks) in der Softwareentwicklung organisiert ein KI-Stack die Elemente in Schichten, die zusammenarbeiten, um effiziente und skalierbare KI-Implementierungen zu ermöglichen. Dieser mehrschichtige Ansatz gliedert den komplexen Prozess der Entwicklung von KI-Lösungen in überschaubare Komponenten auf und ermöglicht es den Teams, sich auf einzelne Aspekte zu konzentrieren, ohne das Gesamtbild aus den Augen zu verlieren.

Jede Schicht im Stack repräsentiert eine bestimmte Funktion, von der Datenverarbeitung bis zur Modellbereitstellung. So ist es einfacher, Abhängigkeiten zu erkennen, Ressourcen zuzuweisen und Herausforderungen systematisch anzugehen. Diese modulare Sichtweise erhöht die Klarheit, insbesondere bei der Arbeit in multidisziplinären Teams, da sie ein gemeinsames Verständnis dafür schafft, wie verschiedene Komponenten zusammenwirken.

Verschiedene KI-Anwendungen durchlaufen mehrere Ebenen des KI-Stacks. Red Hat® OpenShift® ist beispielsweise eine Kubernetes-Plattform für Unternehmen, die für die Verwaltung von Container-Anwendungen im großen Maßstab entwickelt wurde und praktisch auf allen Ebenen des KI-Stacks eingesetzt wird.

Verschiedene Akteure im KI-Bereich organisieren den KI-Stack unterschiedlich, ordnen die Komponenten in einer anderen Reihenfolge an oder betonen unterschiedliche Komponenten oder Funktionen. Dies liegt daran, dass die Ansätze für KI variieren können, sowohl auf der Ebene der Anwendungsfälle als auch auf der Organisationsebene. Außerdem entwickelt sich die KI-Entwicklung ständig weiter.

Als Nächstes folgt eine verallgemeinerte Version eines KI-Stacks für Unternehmen. Erfahren Sie über IBMs Ansatz für generative KI und große Sprachmodelle (Large Language Models, LLMs) (z. B. OpenAIs GPT) mehr in IBMs Tech-Stack für generative KI.

Die KI-Infrastruktur bildet die Grundlage, auf der KI-Systeme erstellt und bereitgestellt werden. Es bietet die Rechenleistung, den physischen Speicher und die Tools, die zum effektiven Entwickeln, Trainieren und den Betrieb von KI-Modelle erforderlich sind. Diese Schicht unterstützt den gesamten KI-Lebenszyklus, von den ersten Experimenten bis hin zur groß angelegten Bereitstellung, und besteht aus einigen verschiedenen Schlüsselkomponenten.

Compute

Für die Verarbeitung von Daten wird physische Hardware benötigt. Chips können für KI-Workloads optimiert werden: Hochleistungsprozessoren, die als KI-Beschleuniger (GPUs, CPUs und TPUs) bezeichnet werden, reduzieren die Trainingszeit für komplexe Modelle erheblich. Darüber hinaus ermöglicht verteiltes Rechnen die Entwicklung hochmoderner, ressourcenintensiver Systeme, wie  große Sprachmodelle.

Cloud-Service-Plattformen (zum Beispiel: AWS, Microsoft Azure, Google Cloud und IBM Cloud®) bieten die Flexibilität, Ressourcen nach oben oder unten zu skalieren, und sind damit für Unternehmen jeder Größe zugänglich, während Edge-Computing Echtzeit-Entscheidungen in Remote-Umgebungen oder Umgebungen mit geringer Bandbreite ermöglicht. Die Rechenebene ist eng mit Orchestrierungstools integriert, optimiert die Ressourcenzuweisung und trägt zur Kosteneffizienz bei.

Speicher

Physische Speichersysteme müssen riesige Datenmengen verarbeiten, die während des gesamten KI-Lebenszyklus verwendet werden, von Rohdaten bis hin zu Modellgewichtungen und Protokollen. Speicherlösungen mit hohem Durchsatz ermöglichen einen schnellen Datenzugriff, der für rechenintensive Aufgaben wie das Trainieren von Deep-Learning-Modellen unerlässlich ist.

Skalierbarkeit ist ein weiteres wichtiges Hauptmerkmal, da verteilte Dateisysteme wie HDFS Object Storage Systems (Amazon S3) wachsende Datenanforderungen unterstützen. Diese Systeme verwenden häufig Strategien, bei denen häufig abgerufene Daten auf Hochgeschwindigkeitsmedien gespeichert werden, während weniger genutzte Daten auf langsameren, kostengünstigeren Lösungen archiviert werden.

Robuste Backup- und Wiederherstellungsmechanismen fördern die Ausfallsicherheit der Daten und kombinieren lokale und Cloud-Speicheroptionen zum Schutz vor Ausfällen.

Netzwerk

KI beinhaltet oft, viele Daten mit minimaler Latenz von einem Ort zum anderen zu verschieben. Das Netzwerk ergänzt den Speicher, indem es die verschiedenen Infrastruktur-Komponenten verbindet und so eine reibungslose Datenübertragung und Zusammenarbeit ermöglicht.

Dies ist ein weiterer grundlegender Teil des KI-Stacks, der sich auf das Sammeln, Speichern und Aufbereiten von Daten für KI-Modelle konzentriert. Dazu gehören Datenbanken, Data Lake und Data Warehouses. Data Scientists verwenden verschiedene Tools für die Datenaufnahme-bereinigung und -vorverarbeitung, die ebenfalls Teil dieser Datenverwaltungsschicht sind.

Mit hochwertigen, gut vorbereiteten Daten können Modelle effektiv lernen, was zu besseren Vorhersagen und Entscheidungen führt. Umgekehrt können minderwertige oder verzerrte Daten die Genauigkeit und Fairness von KI-Modellen beeinträchtigen, was zu suboptimalen Ergebnissen führt. Durch Investitionen in eine robuste Datenschicht schaffen Unternehmen die Voraussetzungen für erfolgreiche KI-Implementierungen.

Datenaufnahme und Speicher

Daten können aus verschiedenen Quellen aufgenommen werden, z. B. aus strukturierten Datenbanken, unstrukturierten Textdateien, Bildern, IoT-Geräten, Anwendungsprogrammierschnittstellen (APIs) oder Benutzerinteraktionen. Die Speicherinfrastruktur muss in der Lage sein, große Mengen unterschiedlicher Daten zu verarbeiten und gleichzeitig Zuverlässigkeit und Zugänglichkeit zu gewährleisten.

Zu den Technologien gehören relationale Datenbanken (z. B. MySQL und PostgreSQL), NoSQL-Datenbanken (z. B. MongoDB und Cassandra) und Data Lakes (z. B. Hadoop) zur Verarbeitung strukturierter und unstrukturierter Daten.

Bei der Aufnahme werden Daten aus verschiedenen Quellen in Speichersysteme importiert. Tools wie Apache Kafka automatisieren und verwalten Datenaufnahmepipelines und tragen so dazu bei, dass die Daten reibungslos in das System fließen.

Datenvorverarbeitung

Rohdaten müssen oft bereinigt, normalisiert und transformiert werden, bevor sie in KI-Modelle verwendet werden können. Dies beinhaltet das Entfernen von Duplikaten, das Ausfüllen von Missing Values, das Standardisieren von Formaten und das Kodieren kategorialer Variablen.

Die Programmiersprache Python bietet kostenlose Bibliotheken für diesen Zweck, und andere, wie Pandas, NumPy oder Tools wie Apache Spark werden häufig für die Vorverarbeitung verwendet.

Annotation und Labeln von Daten

Beim überwachten Lernen müssen Daten häufig mit Labeln versehen werden, damit das Modell lernen kann. Dabei geht es um das Taggen von Bildern, das Kategorisieren von Text oder das Markieren relevanter Merkmale. Plattformen wie Labelbox, Amazon SageMaker Ground Truth und Open-Source-Tools wie LabelImg vereinfachen Annotations-Workflows.

Datensicherheit und Compliance

Die Datenspeicherung und Datenverarbeitung muss den Datenschutzgesetzen (zum Beispiel: GDPR und CCPA) entsprechen. Verschlüsselung, Zugriffskontroll- und Anonymisierungstechniken werden häufig eingesetzt, um sensible Daten zu schützen.

Hier werden KI-Modelle entworfen, trainiert und optimiert, um spezifische Probleme zu lösen und die Kernfunktionen und die Intelligenz eines KI-Systems zu bestimmen. Sie baut auf der Datenebene auf, indem sie verarbeitete und bereinigte Daten verwendet, um Algorithmen zu trainieren, die in der Lage sind, Muster zu lernen, Vorhersagen zu treffen oder Ausgaben zu generieren.

Diese Ebene stellt auch eine Feedback-Schleife mit der Datenebene her und ermöglicht so eine Anpassung und Verbesserung, wenn neue Daten verfügbar werden. Diese Ebene ist von zentraler Bedeutung für den KI-Lebenszyklus, da sie bestimmt, wie gut das System in realen Anwendungen funktioniert.

KI-Frameworks und -Bibliotheken

Maschinelles Lernen (ML) und Deep Learning vereinfachen die Erstellung und das Training von Modellen. Zu den beliebten Tools gehören TensorFlow, PyTorch, Scikit-learn, Keras und XGBoost, die jeweils für verschiedene Arten von KI-Aufgaben geeignet sind, wie z. B. Computer Vision, Verarbeitung natürlicher Sprache (NLP) oder tabellarische Datenanalyse.

Auswahl des Algorithmus

Die Wahl des richtigen Algorithmus für maschinelles Lernen ist der Schlüssel zu einer optimalen Leistung. Die Algorithmen reichen von linearer Regression und Entscheidungsbäumen für einfache Aufgaben bis hin zu komplexen Architekturen wie neuronale Netzwerke und Transformer. Die Auswahl hängt von Faktoren wie der Art der Daten, der Problemdomäne und den rechnerischen Beschränkungen ab.

Modelltraining

Beim Training werden gelabelte Daten in das Modell eingespeist, damit es Muster und Beziehungen erlernen kann. Dieser Schritt erfordert erhebliche Rechenressourcen für komplexe Modelle. Der Trainingsprozess umfasst das Festlegen von Hyperparametern (z. B. Lernrate und Batch-Größe) und die wiederholte Optimierung des Modells mithilfe von Techniken wie Gradient Descent.

Funktions-Engineering und -Tuning

Funktions-Engineering wandelt Rohdaten in aussagekräftige Eingaben für das Modell um. Dieser Schritt kann Skalierung, Kodierung, Dimensionsreduzierung oder die Erstellung neuer abgeleiteter Funktionen umfassen.

Vortrainierte Modelle und Transfer Learning

Die Verwendung vortrainierter Modelle wie BERT und ResNet kann Entwicklungszeit und Rechenkosten erheblich reduzieren. Transfer Learning passt diese Modelle mit minimalem zusätzlichem Training an neue Aufgaben an.

Validierung und Optimierung

Nachdem Modelle entwickelt wurden, müssen sie oft vor der Bereitstellung optimiert und verfeinert werden. Dies kann die Hyperparameteroptimierung, die Modellkomprimierung und die Modellvalidierung umfassen.

Vor der Bereitstellung werden Modelle mithilfe separater Validierungs- und Testdatensätze bewertet, um Leistungsmetriken wie Genauigkeit, Präzision, Rückruf und F1-Score zu messen. Dieser Schritt trägt dazu bei, dass das Modell gut generalisiert und bei unbekannten Daten zuverlässig funktioniert.

In der Bereitstellungsebene werden maschinelles Lernen-Modelle von der Entwicklung in die praktische Anwendung überführt und liefern Vorhersagen oder Schlussfolgerungen in Live-Umgebungen.

Bei der Bereitstellung werden Modelle in einsatzfähige Formate verpackt, häufig unter Verwendung von Container-Technologien, die die Konsistenz und Übertragbarkeit in verschiedenen Umgebungen fördern. Diese Container werden dann mithilfe von Orchestrierungsplattformen verwaltet und skaliert, was Lastausgleich, Fehlertoleranz und hohe Verfügbarkeit ermöglicht.

Die bereitgestellten Modelle werden in der Regel über APIs oder Microservices bereitgestellt, die Frameworks wie TensorFlow Serving, NVIDIA Triton oder maßgeschneiderte Lösungen verwenden, die eine nahtlose Integration mit Geschäftssystemen, mobilen Apps oder Webplattformen ermöglichen.

In der Anwendungsebene werden KI-Modelle in reale Systeme integriert, um umsetzbare Erkenntnisse zu liefern und die Entscheidungsfindung zu unterstützen. Dadurch ist sie der benutzerorientierte Teil des KI-Stacks. Diese Ebene bettet KI-Funktionen in Softwareanwendungen, Produkte und Dienstleistungen ein.

In dieser Phase werden KI-Modelle in die Vorgehensweise des Unternehmens integriert, automatisieren Aufgaben, Verbessern der Workflows oder Unterstützen intelligenter Funktionen wie Empfehlungssysteme, vorausschauende Analyse, Verarbeitung natürlicher Sprache oder Computer Vision integriert. Der Zugriff auf diese Funktionen erfolgt in der Regel über APIs oder die Einbettung in Microservices, was eine nahtlose Interaktion mit anderen Komponenten des Anwendungs-Ökosystems fördert.

Ein Hauptaugenmerk der Anwendungsebene liegt auf der Benutzerfreundlichkeit. KI-Funktionen sind oft mit intuitiven Benutzeroberflächen (UI) verbunden, die Visualisierungen und andere Präsentationen verwenden, um Informationen auf klare, interpretierbare Weise zu kommunizieren und es den Benutzern zu ermöglichen, KI-gestützte Erkenntnisse zu verstehen und darauf zu reagieren.

Zum Beispiel könnte eine KI zur Betrugserkennung verdächtige Transaktionen innerhalb einer Finanzplattform melden und durch Automatisierung eine Benachrichtigung generieren, während ein Chatbot-Benutzererlebnis in Echtzeit mit den Benutzern interagiert.

Die Observability-Ebene erleichtert die Überwachung, Nachverfolgung und Bewertung von KI-Workflows. Sie bietet die Transparenz und die Erkenntnisse, die erforderlich sind, um zu verstehen, wie KI-Modelle in realen Umgebungen funktionieren. Außerdem ermöglicht sie Teams, Probleme umgehend zu identifizieren und zu lösen, den Systemzustand aufrechtzuerhalten und die Leistung im Laufe der Zeit zu verbessern.

Im Fokus der Observability-Ebene stehen Tools und Frameworks zur Erfassung von Metriken, die sich sowohl auf die KI-Modelle als auch auf die Infrastruktur beziehen, auf der sie laufen.

Die Governance-Ebene ist der übergeordnete Rahmen, mit dem sichergestellt wird, dass KI-Systeme verantwortungsvoll, ethisch und im Einklang mit organisatorischen und gesellschaftlichen Standards eingesetzt, genutzt und gewartet werden.

Diese Ebene ist entscheidend für das Risikomanagement, die Förderung von Transparenz und den Aufbau von Vertrauen in KI-Technologien. Es umfasst Richtlinien und Prozesse zur Überwachung des Lebenszyklus von KI-Modellen mit gesetzlichen Vorschriften, ethischen Grundsätzen und Unternehmenszielen.

Eine Hauptfunktion der Governance-Schicht ist die Festlegung von Richtlinien zur Datenerfassung und -nutzung zusammen mit Compliance-Frameworks, um Vorschriften wie die Datenschutz-Grundverordnung (DSGVO), den Health Insurance Portability and Accountability Act (HIPAA) oder KI-spezifische Richtlinien wie das EU AI Act einzuhalten. Diese Frameworks definieren, wie Daten gesammelt, gespeichert und verwendet werden, fördern so Datenschutz und Sicherheit.

Zur Governance gehört auch die Schaffung von Mechanismen für die Nachvollziehbarkeit und Rückverfolgbarkeit, die es Unternehmen ermöglichen, KI-Entscheidungen, Modelländerungen und Datennutzung zu protokollieren und nachzuverfolgen, was für die Haftung und die Behebung von Streitigkeiten oder Fehlern entscheidend ist.

Die Governance-Schicht bearbeitet auch die Themen Fairness, Verzerrung und Erklärbarkeit in KI-Systemen. Dazu gehört die Implementierung von Tools und Techniken, um Verzerrungen in Trainingsdaten oder Modellergebnissen zu erkennen und zu reduzieren, die dazu beitragen, dass KI-Systeme in verschiedenen Bevölkerungsgruppen gleichberechtigt funktionieren.

Wenn man KI als Stack betrachtet, fördert dies Skalierbarkeit, Flexibilität und Effizienz. Teams können an der Aktualisierung bestimmter Ebenen arbeiten, um von den neuesten Fortschritten zu profitieren, ohne das gesamte System zu überarbeiten, was iterative Verbesserungen und Anpassungen ermöglicht, wenn sich Technologien und Geschäftsanforderungen weiterentwickeln.

Sie können beispielsweise auf der Infrastrukturebene von einem Cloud-Anbieter zu einem anderen wechseln oder ein neues Framework für maschinelles Lernen in der Modellentwicklungsschicht einführen, ohne die Anwendung zu unterbrechen.

Diese mehrstufige Perspektive vereinfacht auch das Benchmarking und die Überwachung jeder Phase des KI-Lebenszyklus und trägt dazu bei, dass Leistung, Compliance und Zuverlässigkeit bei jedem Schritt gewährleistet sind. Der Stack-Ansatz vereinfacht die Komplexität von KI und macht sie für Unternehmen jeder Größe leichter zugänglich und umsetzbar.