Was ist ein KI-Modell?

Einfach ausgedrückt wird ein KI-Modell durch seine Fähigkeit definiert, autonom Entscheidungen zu treffen oder Vorhersagen zu treffen, anstatt menschliche Intelligenz zu simulieren. Zu den ersten erfolgreichen KI-Modellen gehörten in den frühen 1950er Jahren Programme, die Dame und Schach spielen konnten: Die Modelle ermöglichten es den Programmen, Züge als direkte Reaktion auf den menschlichen Gegner auszuführen, anstatt einer vorab festgelegten Zugfolge zu folgen.

Verschiedene Arten von KI-Modellen eignen sich besser für bestimmte Aufgaben oder Bereiche, für die ihre jeweilige Entscheidungslogik am nützlichsten oder relevantesten ist. Komplexe Systeme setzen oft mehrere Modelle gleichzeitig ein und verwenden Ensemble-Lerntechniken wie Bagging, Boosting oder Stacking.

Da KI-Tools immer komplexer und vielseitiger werden, benötigen sie für das Training und die Ausführung immer größere Datenmengen und Rechenleistung. Als Reaktion darauf weichen Systeme, die für die Ausführung spezifischer Aufgaben in einem einzigen Bereich konzipiert sind, Foundation Models, die vorab auf große, nicht gekennzeichnete Datensätze trainiert wurden und für eine Vielzahl von Anwendungen geeignet sind. Diese vielseitigen Foundation Models können dann für bestimmte Aufgaben optimiert werden.

Beide Begriffe werden in diesem Zusammenhang zwar oft synonym verwendet, bedeuten aber nicht genau dasselbe.

• Algorithmen sind Verfahren, die oft in mathematischer Sprache oder Pseudocode beschrieben werden und auf einen Datensatz angewendet werden, um eine bestimmte Funktion oder einen bestimmten Zweck zu erfüllen.
• Modelle sind das Ergebnis eines Algorithmus, der auf einen Datensatz angewendet wurde.

Einfach ausgedrückt wird ein KI-Modell verwendet, um Vorhersagen oder Entscheidungen zu treffen, und ein Algorithmus ist die Logik, nach der dieses KI-Modell arbeitet.

KI-Modelle können die Entscheidungsfindung automatisieren, aber nur Modelle, die maschinelles Lernen (ML) beherrschen, sind in der Lage, ihre Leistung im Zeitverlauf autonom zu optimieren.

Während alle ML-Modelle auf KI basieren, wird bei KI nicht immer ML eingesetzt. Die grundlegendsten KI-Modelle bestehen aus einer Reihe von Wenn-Dann-Sonst-Anweisungen, deren Regeln von einem Data Scientist explizit programmiert werden. Solche Modelle werden auch als Regelmaschinen, Expertensysteme, Wissensgraphen oder symbolische KI bezeichnet.

Modelle für maschinelles Lernen verwenden statistische KI und nicht symbolische KI. Während regelbasierte KI-Modelle explizit programmiert werden müssen, werden ML-Modelle „trainiert“, indem ihre mathematischen Frameworks auf einen Beispieldatensatz angewendet werden, dessen Datenpunkte dann als Grundlage für die zukünftigen realen Vorhersagen des Modells dienen.

ML-Modelltechniken können im Allgemeinen in drei große Kategorien unterteilt werden: überwachtes Lernen, unüberwachtes Lernen und bestärkendes Lernen.

• Überwachtes Lernen: auch als „klassisches“ maschinelles Lernen bekannt, erfordert überwachtes Lernen einen menschlichen Experten, der die Trainingsdaten kennzeichnet. Ein Data Scientist, der ein Bilderkennungsmodell zur Erkennung von Hunden und Katzen trainiert, muss Beispielbilder als „Hund“ oder „Katze“ kennzeichnen und Hauptmerkmale wie Größe, Form oder Fell angeben, die diese primären Kennzeichnungen beeinflussen.
  
• Unüberwachtes Lernen: Im Gegensatz zu überwachten Lerntechniken geht unüberwachtes Lernen nicht von der externen Existenz von „richtigen“ oder „falschen“ Antworten aus und bedarf daher keiner Kennzeichnung. Diese Algorithmen erkennen inhärente Muster in Datensätzen, um Datenpunkte in Gruppen zu clustern und Vorhersagen zu treffen. Beispielsweise verwenden E-Commerce-Unternehmen wie Amazon unbeaufsichtigte Assoziationsmodelle, um Empfehlungsmaschinen zu betreiben.
• Reinforcement Learning: Beim Reinforcement Learning lernt ein Modell ganzheitlich durch Versuch und Irrtum, indem korrekte Outputs systematisch belohnt (oder falsche Outputs bestraft) werden. Reinforcement Learning-Modelle werden zur Unterstützung von Social-Media-Vorschlägen, algorithmischem Aktienhandel und sogar selbstfahrenden Autos eingesetzt.

Deep Learning ist eine weiterentwickelte Form des unüberwachten Lernens, bei dem die Struktur der Neural Networks versucht, die des menschlichen Gehirns nachzuahmen. Mehrere Schichten miteinander verbundener Knoten nehmen nach und nach Daten auf, extrahieren Hauptmerkmale, identifizieren Beziehungen und verfeinern Entscheidungen in einem Prozess, der als Vorwärtsausbreitung (Forward Propagation) bezeichnet wird. Ein weiteres Verfahren, das Backpropagation genannt wird, wendet Modelle an, die Fehler berechnen und die Gewichte und Verzerrungen des Systems entsprechend anpassen. Die meisten fortgeschrittenen KI-Anwendungen, wie die großen Sprachmodelle (LLMs), die moderne Chatbots antreiben, nutzen Deep Learning. Es erfordert enorme Rechenressourcen.

Eine Möglichkeit, Modelle für maschinelles Lernen zu unterscheiden, ist ihre grundlegende Methodik: Die meisten können entweder als generativ oder als diskriminativ kategorisiert werden. Der Unterschied liegt darin, wie sie die Daten in einem bestimmten Raum modellieren.

Generative Algorithmen, die in der Regel unüberwachtes Lernen beinhalten, modellieren die Verteilung von Datenpunkten mit dem Ziel, die gemeinsame Wahrscheinlichkeit P(x,y) eines bestimmten Datenpunkts, der in einem bestimmten Raum erscheint, vorherzusagen. Ein generatives Computer-Vision-Modell könnte dadurch Zusammenhänge erkennen, wie z. B. „Dinge, die wie Autos aussehen, haben normalerweise vier Räder“ oder „Augen befinden sich wahrscheinlich nicht oberhalb der Augenbrauen“.

Diese Vorhersagen können in die Generierung von Outputs einfließen, die das Modell für sehr wahrscheinlich hält. Ein generatives Modell, das mit Textdaten trainiert wurde, kann beispielsweise Rechtschreib- und Autovervollständigungsvorschläge unterstützen. Auf der komplexesten Ebene kann es völlig neuen Text generieren. Im Wesentlichen hat ein LLM, wenn er Text ausgibt, mit hoher Wahrscheinlichkeit berechnet, dass diese Wortfolge als Antwort auf die Eingabeaufforderung zusammengestellt wurde.

Andere häufige Anwendungsfälle für generative Modelle sind Bildsynthese, Musikkomposition, Stilübertragung und Sprachübersetzung.

Beispiele für generative Modelle sind:

• Diffusionsmodelle (Diffusion Models): Diffusionsmodelle fügen den Trainingsdaten allmählich Gaußsches Rauschen hinzu, bis sie unkenntlich sind, und lernen dann einen umgekehrten „Rauschminderungs“-Prozess, der aus dem zufälligen Rauscheingang ein Output (normalerweise Bilder) synthetisieren kann.
• Variational Autoencoders (VAEs): VAEs bestehen aus einem Encoder, der Eingabedaten komprimiert, und einem Decoder, der lernt, den Prozess umzukehren und die wahrscheinliche Datenverteilung abzubilden.
• Transformer-Modelle: Transformer-Modelle verwenden mathematische Techniken, die als „Aufmerksamkeit“ oder „Selbstbeobachtung“ bezeichnet werden, um zu ermitteln, wie sich verschiedene Elemente in einer Reihe von Daten gegenseitig beeinflussen. Das „GPT“ in Chat-GPT von OpenAI steht für „Generative Pretrained Transformer“.

Diskriminative Algorithmen, die in der Regel überwachtes Lernen beinhalten, modellieren die Grenzen zwischen Datenklassen (oder „Entscheidungsgrenzen“) mit dem Ziel, die bedingte Wahrscheinlichkeit P(y|x) vorherzusagen, dass ein gegebener Datenpunkt (x) in eine bestimmte Klasse (y) fällt. Ein diskriminatives Computer-Vision-Modell könnte den Unterschied zwischen „Auto“ und „kein Auto“ anhand einiger weniger Schlüsselunterschiede (wie „wenn es keine Räder hat, ist es kein Auto“) erkennen und so viele Korrelationen ignorieren, die ein generatives Modell berücksichtigen muss. Diskriminative Modelle benötigen daher tendenziell weniger Rechenleistung.

Diskriminative Modelle eignen sich natürlich gut für Klassifizierungsaufgaben wie die Stimmungsanalyse, aber sie haben viele Einsatzmöglichkeiten. Zum Beispiel zerlegen Decision-Tree-und Random-Forest-Modelle komplexe Entscheidungsprozesse in eine Reihe von Knoten, bei denen jedes „Blatt“ eine potenzielle Klassifizierungsentscheidung darstellt.

Während diskriminierende oder generative Modelle sich im Allgemeinen in bestimmten realen Anwendungsfällen gegenseitig übertreffen können, könnten viele Aufgaben mit beiden Modelltypen bewältigt werden. Zum Beispiel haben diskriminierende Modelle viele Einsatzmöglichkeiten in der Verarbeitung natürlicher Sprache (NLP) und übertreffen oft generative KI bei Aufgaben wie der maschinellen Übersetzung (die die Erstellung von übersetztem Text umfasst).

Ebenso können generative Modelle für die Klassifizierung unter Verwendung des Satzes von Bayes verwendet werden. Anstatt zu bestimmen, auf welcher Seite einer Entscheidungsgrenze sich ein Fall befindet (wie es bei einem diskriminierenden Modell der Fall wäre), könnte ein generatives Modell die Wahrscheinlichkeit bestimmen, mit der jede Klasse den Fall generiert, und die Klasse mit der höheren Wahrscheinlichkeit auswählen.

Viele KI-Systeme verwenden beide zusammen. In einem generativen gegnerischen Netzwerk generiert beispielsweise ein generatives Modell Beispieldaten und ein diskriminierendes Modell bestimmt, ob diese Daten „echt“ (real) oder „falsch“ (fake) sind. Die Ausgabe des diskriminativen Modells wird verwendet, um das generative Modell zu trainieren, bis der Diskriminator keine „falschen“ generierten Daten mehr erkennen kann.

Eine weitere Möglichkeit, Modelle zu kategorisieren, ist nach der Art der Aufgaben, für die sie verwendet werden. Die meisten klassischen KI-Modellalgorithmen führen entweder eine Klassifizierung oder eine Regression durch. Einige sind für beides geeignet, und die meisten Foundation Models nutzen beide Arten von Funktionen.

Diese Terminologie kann manchmal verwirrend sein. Die logistische Regression ist beispielsweise ein diskriminierendes Modell, das zur Klassifizierung verwendet wird.

Modelle für die Regression sagen kontinuierliche Werte voraus (wie Preis, Alter, Größe oder Zeit). Sie werden hauptsächlich verwendet, um die Beziehung zwischen einer oder mehreren unabhängigen Variablen (x) und einer abhängigen Variablen (y) zu bestimmen: Bei gegebenem x den Wert von y vorhersagen.

• Algorithmen wie die lineare Regression und verwandte Varianten wie die Quantilsregression sind nützlich für Aufgaben wie Prognosen, die Analyse der Preiselastizität und die Risikobewertung.
• Algorithmen wie die Polynomregression und die Support-Vector-Regression (SVR) modellieren komplexe nichtlineare Beziehungen zwischen Variablen.
• Bestimmte generative Modelle, wie Autoregression und Variational Autoencoder, berücksichtigen nicht nur korrelative Beziehungen zwischen vergangenen und zukünftigen Werten, sondern auch kausale Beziehungen. Dies macht sie besonders nützlich für die Vorhersage von Wetterszenarien und die Vorhersage extremer Klimaereignisse.

Klassifizierungsmodelle sagen diskrete Werte voraus. Daher werden sie in erster Linie verwendet, um eine geeignete Kennzeichnung zu bestimmen oder zu kategorisieren (d. h. zu klassifizieren). Dies kann eine binäre Klassifizierung sein – wie „ja oder nein“, „akzeptieren oder ablehnen“ – oder eine Klassifizierung mehrerer Klassen (wie eine Empfehlungsmaschine, die Produkt A, B, C oder D vorschlägt).

Klassifizierungsalgorithmen finden ein breites Anwendungsspektrum, von der einfachen Kategorisierung über die Automatisierung der Funktionsextraktion in Deep-Learning-Netzwerken bis hin zu Fortschritten im Gesundheitswesen wie der diagnostischen Bildklassifizierung in der Radiologie.

Gängige Beispiele sind:

• Naïve Bayes: ein Algorithmus für generatives überwachtes Lernen, der häufig bei der Spam-Filterung und der Dokumentenklassifizierung eingesetzt wird.
• Lineare Diskriminanzanalyse: wird zur Lösung widersprüchlicher Überschneidungen zwischen mehreren Funktionen verwendet, die sich auf die Klassifizierung auswirken.
• Logistische Regression: prognostiziert kontinuierliche Wahrscheinlichkeiten, die dann als Proxy für Klassifikationsbereiche verwendet werden.

Das „Lernen“ beim maschinellen Lernen wird durch das Trainieren von Modellen anhand von Beispieldatensätzen erreicht. Die in diesen Beispieldatensätzen ermittelten wahrscheinlichkeitstheoretischen Trends und Korrelationen werden dann auf die Leistung der Systemfunktion angewendet.

Beim überwachten und halbüberwachten Lernen müssen diese Trainingsdaten von Data Scientists sorgfältig gekennzeichnet werden, um die Ergebnisse zu optimieren. Bei richtiger Funktionsextraktion erfordert überwachtes Lernen insgesamt eine geringere Menge an Trainingsdaten als unüberwachtes Lernen.

Idealerweise werden ML-Modelle mit Daten aus der realen Welt trainiert. Dies gewährleistet intuitiv am besten, dass das Modell die realen Umstände widerspiegelt, die es analysieren oder replizieren soll. Es ist jedoch nicht immer möglich, praktisch oder optimal, sich ausschließlich auf Daten aus der realen Welt zu verlassen.

Je mehr Parameter ein Modell hat, desto mehr Daten werden zum Trainieren benötigt. Da Deep-Learning-Modelle an Größe zunehmen, wird es immer schwieriger, diese Daten zu beschaffen. Das ist besonders offensichtlich bei LLMs: Sowohl GPT-3 von OpenAI als auch das Open-Source-Programm BLOOM haben über 175 Milliarden Parameter.

Trotz ihrer Benutzerfreundlichkeit kann die Nutzung öffentlich zugänglicher Daten regulatorische Fragen aufwerfen, z. B. wann die Daten anonymisiert werden müssen, sowie praktische Probleme aufwerfen. Zum Beispiel können Sprachmodelle, die auf Social-Media-Threads trainiert werden, Gewohnheiten oder Ungenauigkeiten „lernen“, die für den Einsatz in Unternehmen nicht ideal sind.

Synthetische Daten bieten eine alternative Lösung: Ein kleinerer Satz realer Daten wird verwendet, um Trainingsdaten zu generieren, die dem Original sehr ähnlich sind und Bedenken hinsichtlich des Datenschutzes ausräumen.

ML-Modelle, die auf realen Daten trainiert wurden, werden unweigerlich die gesellschaftlichen Vorurteile absorbieren, die sich in diesen Daten widerspiegeln werden. Wenn solche Verzerrungen nicht beseitigt werden, werden sie die Ungleichheit in allen Bereichen, die von solchen Modellen beeinflusst werden, wie z. B. im Gesundheitswesen oder bei der Einstellung von Mitarbeitern, aufrechterhalten und verschärfen. Die Data-Science-Forschung hat Algorithmen wie FairIJ und Techniken zur Modellverfeinerung wie FairReprogram hervorgebracht, um die inhärente Ungerechtigkeit in Daten zu beheben.

Eine Überanpassung  tritt auf, wenn ein ML-Modell zu eng an die Trainingsdaten angepasst wird, wodurch irrelevante Informationen (oder „Rauschen“) im Beispieldatensatz die Leistung des Modells beeinflussen. Unteranpassung ist das Gegenteil: unsachgemäßes oder unzureichendes Training.

Foundation Models,auch Basismodelle oder vortrainierte Modelle genannt, sind Deep-Learning-Modelle, die auf großen Datensätzen vortrainiert wurden, um allgemeine Merkmale und Muster zu erlernen. Sie dienen als Ausgangspunkte, die für spezifischere KI-Anwendungen optimiert oder angepasst werden müssen.

Anstatt Modelle von Grund auf neu zu erstellen, können Entwickler die Schichten neuronaler Netze ändern, Parameter anpassen oder Architekturen an bereichsspezifische Anforderungen anpassen. Dies erweitert und vertieft das Wissen und die Fachkenntnisse in einem großen und bewährten Modell und führt zu einer erheblichen Zeit- und Ressourcenersparnis beim Modelltraining. Foundation Models ermöglichen somit eine schnellere Entwicklung und Bereitstellung von KI-Systemen.

Die Feinabstimmung vorab trainierter Modelle für spezielle Aufgaben ist in letzter Zeit der Technik der Sofortabstimmung (Prompt-Tuning) gewichen, bei der Front-End-Hinweise in das Modell eingeführt werden, um das Modell zur gewünschten Art von Entscheidung oder Vorhersage zu führen.

Laut David Cox, Co-Direktor des MIT-IBM Watson AI Lab, kann die Wiederverwendung eines trainierten Deep-Learning-Modells (anstelle des Trainings oder der Umschulung eines neuen Modells) den Computer- und Energieverbrauch um mehr als das Tausendfache senken und so erhebliche Kosten einsparen.¹

Ausgefeilte Tests sind für die Optimierung unerlässlich, da sie messen, ob ein Modell gut trainiert ist, um seine beabsichtigte Aufgabe zu erfüllen. Unterschiedliche Modelle und Aufgaben eignen sich für unterschiedliche Metriken und Methoden.

Um die Leistung eines Modells zu testen, ist eine Kontrollgruppe erforderlich, mit der es verglichen werden kann, da ein Modell, das mit den Daten getestet wird, mit denen es trainiert wurde, zu einer Überanpassung führen kann. Bei der Kreuzvalidierung werden Teile der Trainingsdaten herausgenommen oder neu gesampelt, um diese Kontrollgruppe zu erstellen. Zu den Varianten gehören nicht erschöpfende Methoden wie K-Fold, Holdout und Monte-Carlo-Kreuzvalidierung oder erschöpfende Methoden wie die Leave-P-Out-Kreuzvalidierung.

Diese allgemeinen Metriken beinhalten diskrete Ergebniswerte wie wahr positiv (TP), wahr negativ (TN), falsch positiv (FP) und falsch negativ (FN).

• Genauigkeit ist das Verhältnis der korrekten Vorhersagen zur Gesamtzahl der Vorhersagen: (TP+TN) / (TP+TN+FP+FN). Bei unausgewogenen Datensätzen funktioniert dies nicht gut.
• Präzision misst, wie oft positive Vorhersagen korrekt sind: TP/(TP+FP).
• Recall misst, wie oft positive Ergebnisse erfolgreich erfasst werden: TP/(TP+FN).
• F1-Score ist das harmonische Mittel aus Präzision und Recall: (2×Präzision×Recall)/(Präzision+Recall). Es gleicht Kompromisse zwischen Präzision (was zu falsch negativen Ergebnissen führt) und Recall (was zu falsch positiven Ergebnissen führt) aus.
• Eine Konfusionsmatrix stellt die Konfidenz (oder Verwirrung) Ihres Algorithmus für jede potenzielle Klassifizierung visuell dar.

Da Regressionsalgorithmen kontinuierliche Werte und keine diskreten Werte vorhersagen, werden sie anhand verschiedener Metriken gemessen, in denen „N“ die Anzahl der Beobachtungen darstellt. Die folgenden sind gängige Metriken, die zur Bewertung von Regressionsmodellen verwendet werden.

• Mean Absolute Error (MAE) misst die durchschnittliche Differenz zwischen vorhergesagten Werten (y_pred) und tatsächlichen Werten (y_actual) in absoluten Zahlen: ∑(y_pred – y_actual) / N.
• Mean Squared Error (MSE) quadriert den durchschnittlichen Fehler, um Ausreißer aggressiv zu bestrafen: ∑(y_pred – y_actual)² / N.
• Root Mean Square Error (RSME) misst Standardabweichungen in derselben Einheit wie die Ergebnisse: √ (∑(y_pred – y_actual)² / N).
• Mean Absolute Percentage Error (MAPE) drückt den durchschnittlichen Fehler als Prozentsatz aus.

Für die Bereitstellung und Ausführung eines KI-Modells ist ein Computergerät oder Server mit ausreichender Verarbeitungsleistung und Speicherkapazität erforderlich. Wenn KI-Pipelines und Rechenressourcen nicht angemessen geplant werden, kann dies dazu führen, dass ansonsten erfolgreiche Prototypen nicht über die Machbarkeitsphase hinauskommen.

• Open-Source-Frameworks für maschinelles Lernen wie PyTorch, Tensorflow und Caffe2 können ML-Modelle mit wenigen Codezeilen ausführen.
• Zentrale Recheneinheiten (Central Processing Units, CPUs) sind eine effiziente Quelle für Rechenleistung für Lernalgorithmen, die keine umfangreiche parallele Datenverarbeitung erfordern.
• Grafikprozessoren (Graphics Processing Units, GPUs) verfügen über eine größere Kapazität für die parallele Verarbeitung, wodurch sie besser für die enormen Datenmengen und die mathematische Komplexität von Deep-Learning-Neural-Networks geeignet sind.