Was sind große Sprachmodelle (Large Language Models, LLMs)?

LLMs arbeiten als riesige statistische Vorhersagemaschinen, die wiederholt das nächste Wort in einer Sequenz vorhersagen. Sie lernen Muster in ihrem Text und generieren eine Sprache, die diesen Mustern folgt.

LLMs stellen einen großen Fortschritt in der Interaktion zwischen Mensch und Technologie dar, da sie das erste KI-System sind, das mit unstrukturierter menschlicher Sprache in großem Maßstab umgehen kann und so eine natürliche Kommunikation mit Maschinen ermöglicht. Während herkömmliche Suchmaschinen und andere programmierte Systeme Algorithmen verwendeten, um Schlüsselwörter zu finden, erfassen LLMs tiefere Kontexte, Nuancen und Argumente. Sobald ein LLM trainiert ist, kann es sich an viele Anwendungen anpassen, die die Interpretation von Text beinhalten, z. B. die Zusammenfassung eines Artikels, das Debugging von Code oder das Verfassen einer Rechtsklausel. Mit agentenischen Funktionen können LLMs mit unterschiedlichem Grad an Autonomie verschiedene Aufgaben ausführen, die sonst von Menschen übernommen würden.

LLMs sind der Höhepunkt jahrzehntelanger Fortschritte in der Forschung zur Verarbeitung natürlicher Sprache (NLP) und zum maschinellen Lernen, und ihre Entwicklung ist maßgeblich für die explosionsartige Zunahme von Fortschritten im Bereich der künstlichen Intelligenz in den späten 2010er und 2020er Jahren verantwortlich. Beliebte LLMs sind zu Begriffen geworden, die generative KI in den Vordergrund des öffentlichen Interesses rücken. LLMs werden auch in Betrieben weit verbreitet eingesetzt, wobei Unternehmen stark in zahlreiche Geschäftsfunktionen und Anwendungsfälle investieren.

LLMs sind über Schnittstellen wie Claude von Anthropic,ChatGPT von Open AI, Copilot von Microsoft, Llama-Modelle von Meta und Gemini-Assistent von Google sowie die BERT- und PaLM-Modelle für die Öffentlichkeit leicht zugänglich. IBM unterhält eine Granite-Modellreihe auf watsonx.ai, die zum generativen KI-Rückgrat für andere IBM-Produkte wie watsonx Assistant und watsonx Orchestrate geworden ist. 

Das Training beginnt mit einer riesigen Datenmenge – Milliarden oder Billionen von Wörtern aus Büchern, Artikeln, Websites, Code und anderen Textquellen. Data Scientists überwachen die Reinigung und Vorverarbeitung, um Fehler, Duplikate und unerwünschte Inhalte zu entfernen.

Dieser Text wird im Rahmen der „Tokenisierung“ in kleinere, maschinenlesbare Einheiten, sogenannte „Token“, zerlegt. Token sind kleinere Einheiten wie Wörter, Teilwörter oder Zeichen. Dadurch wird die Sprache standardisiert, sodass seltene und neuartige Wörter einheitlich gehandhabt werden können.

LLMs werden zunächst mit selbstüberwachtem Lernen trainiert, einer Technik des maschinellen Lernens, die nicht gelabelte Daten für überwachtes Lernen verwendet. Selbstüberwachtes Lernen erfordert keine gelabelten Datensätze, ist aber eng mit überwachtem Lernen verwandt, da es die Leistung anhand einer „Grundwahrheit“ optimiert. Beim selbstüberwachten Lernen sind die Aufgaben so konzipiert, dass die „Grundwahrheit“ aus nicht gelabelten Daten abgeleitet werden kann. Anstatt wie beim überwachten Lernen zu erfahren, was die „richtige Ausgabe“ für jede Eingabe ist, versucht das Modell, selbständig Muster, Strukturen oder Beziehungen in den Daten zu finden.

Das Modell lässt die Token durch ein Transformer-Netzwerk laufen. Transformer-Modelle, die im Jahr 2017 eingeführt wurden, sind aufgrund ihres Selbstbeobachtungs-Mechanismus nützlich, der es ihnen ermöglicht, zu verschiedenen Zeitpunkten auf unterschiedliche Token zu „achten“. Diese Technik ist das Herzstück des Transformers und seine wichtigste Innovation. Selbstaufmerksamkeit ist zum Teil nützlich, weil es dem KI-Modell ermöglicht, die Beziehungen und Abhängigkeiten zwischen Tokens zu berechnen, insbesondere solche, die im Text weit voneinander entfernt sind. Transformer-Architekturen ermöglichen auch eine Parallelisierung, wodurch der Prozess deutlich effizienter wird als bisherige Methoden. Diese Eigenschaften ermöglichten es LLMs, unvergleichlich große Datensätze zu verarbeiten.

Sobald der Text in Token aufgeteilt ist, wird jedes Token einem Zahlenvektor zugeordnet, der als Einbettung bezeichnet wird. Neuronale Netze bestehen aus Ebenen künstlicher Neuronen, wobei jedes Neuron eine mathematische Operation ausführt. Transformer bestehen aus vielen dieser Ebenen, und bei jeder werden die Einbettungen leicht angepasst, so dass sie von Ebene zu Ebene zu reichhaltigeren kontextuellen Darstellungen werden.

Ziel dieses Prozesses ist es, dass das Modell semantische Assoziationen zwischen Wörtern lernt, sodass Wörter wie „bellen“ und „Hund“ im Vektorraum eines Essays über Hunde näher beieinander liegen als „bellen“ und „Baum“, basierend auf den umgebenden hundebezogenen Wörtern im Essay. Transformer fügen außerdem Positionskodierungen hinzu, die jedem Token Informationen über seine Position in der Sequenz geben.

Um die Aufmerksamkeit zu berechnen, wird jede Einbettung unter Verwendung von erlernten Gewichtungsmatrizen in drei verschiedene Vektoren projiziert: eine Abfrage, ein Schlüssel und ein Wert. Die Abfrage stellt dar, was ein bestimmtes Token „sucht“, der Schlüssel stellt die Informationen dar, die jedes Token enthält, und der Wert „gibt“ die Informationen von jedem Schlüsselvektor zurück, skaliert nach seinem jeweiligen Aufmerksamkeitsgewicht.

Die Alignment-Scores werden dann als Ähnlichkeit zwischen Anfragen und Schlüsseln berechnet. Diese Bewertungen, die in Aufmerksamkeitsgewichtungen normiert sind, bestimmen, wie viel von jedem Wertvektor in die Darstellung des aktuellen Tokens fließt. Dieser Prozess ermöglicht es dem Modell, sich flexibel auf den relevanten Kontext zu konzentrieren und gleichzeitig weniger wichtige Token (wie „Baum“) zu ignorieren.

Selbstaufmerksamkeit stellt somit „gewichtete“ Verbindungen zwischen allen Tokens effizienter her, als es frühere Architekturen könnten. Das Modell weist jeder Beziehung zwischen den Token Gewichtungen zu. LLMs können Milliarden oder Billionen dieser Gewichtungen haben, die eine Art von LLM-Parametern darstellen, die internen Konfigurationsvariablen eines maschinellen Lernmodells, welche steuern, wie es Daten verarbeitet und Vorhersagen trifft. Die Anzahl der Parameter bezieht sich darauf, wie viele dieser Variablen in einem Modell vorhanden sind, wobei einige LLMs Milliarden von Parametern enthalten. Sogenannte kleine Sprachmodelle sind kleiner in Umfang und Reichweite mit vergleichsweise wenigen Parametern, sodass sie für die Bereitstellung auf kleineren Geräten oder in Umgebungen mit beschränkten Ressourcen geeignet sind.

Während des Trainings trifft das Modell Vorhersagen für Millionen von Beispielen, die aus seinen Trainingsdaten gezogen werden, und eine Verlustfunktion quantifiziert den Fehler jeder Vorhersage. Durch einen iterativen Zyklus, in dem Vorhersagen getroffen und die Modellgewichte durch Backpropagation und Gradientenabstieg aktualisiert werden, „lernt“ das Modell die Gewichtungen in den Ebenen, die Abfrage-, Schlüssel- und Wertvektoren erzeugen.

Sobald diese Gewichtungen ausreichend optimiert sind, sind sie in der Lage, die ursprüngliche Vektoreinbettung jedes Token zu übernehmen und Abfrage-, Schlüssel- und Wertevektoren dafür zu erzeugen, die, wenn sie mit den für alle anderen Token generierten Vektoren interagieren, zu „besseren“ Alignment-Werten führen, welche wiederum zu Aufmerksamkeitsgewichtungen führen, die dem Modell helfen, bessere Ausgaben zu erzielen. Das Endergebnis ist ein Modell, das Muster in Grammatik, Fakten, Argumentationsstrukturen, Schreibstilen und mehr gelernt hat.

Nach dem Training (oder im Rahmen des zusätzlichen Trainings, „Vortraining“) können LLMs eine Feinabstimmung vornehmen, um sie in bestimmten Kontexten nützlicher zu machen. Zum Beispiel kann ein grundlegendes Modell, das auf einem großen Datensatz an Allgemeinwissen trainiert wurde, anhand eines Korpus rechtlicher Q&As verfeinert werden, um einen Chatbot für den Rechtsbereich zu erstellen.

Hier sind einige der häufigsten Formen der Feinabstimmung. Anwender können eine Methode oder eine Kombination mehrerer Methoden verwenden.

Die Feinabstimmung findet meistens in einem überwachten Kontext mit einem viel kleineren, gelabelten Datensatz statt. Das Modell aktualisiert seine Gewichtungen, um sie besser an die neue Grundwahrheit anzupassen (in diesem Fall gelabelte Daten).

Während das Vortraining dazu gedacht ist, dem Modell ein breites Allgemeinwissen zu vermitteln, passt die Feinabstimmung ein allgemeines Modell an spezifische Aufgaben wie Zusammenfassung, Klassifizierung oder Kundensupport an. Diese funktionalen Anpassungen stellen neue Aufgabentypen dar. Die überwachte Feinabstimmung produziert Ausgaben, die näher an den von Menschen bereitgestellten Beispielen liegen und erfordert weitaus weniger Ressourcen als ein Training von Grund auf.

Die überwachte Feinabstimmung ist auch für bereichsspezifische Anpassungen nützlich, z. B. um ein Modell anhand medizinischer Dokumente zu trainieren, damit es Fragen zum Gesundheitswesen beantworten kann. 

Um Modelle weiter zu verfeinern, verwenden Data Scientists häufig Reinforcement Learning aus menschlichem Feedback (RLHF), eine Form der Feinabstimmung, bei der Menschen Modellausgaben einordnen und das Modell trainiert wird, Ausgaben zu bevorzugen, die Menschen höher einordnen. RLHF wird häufig beim Alignment verwendet, einem Prozess, der darin besteht, die LLM-Ausgaben nützlich und sicher zu machen und mit den menschlichen Werten in Einklang zu bringen.

RLHF ist auch besonders nützlich für die stilistische Ausrichtung, bei der ein LLM so angepasst werden kann, dass es auf eine Art und Weise antwortet, die lockerer, humorvoller oder markenkonformer ist. Die stilistische Ausrichtung beinhaltet das Training für die gleiche Art von Aufgaben, aber die Produktion von Ausgaben in einem bestimmten Stil.

Die rein überwachte Feinabstimmung lehrt ein Modell, Beispiele zu imitieren, aber sie fördert nicht notwendigerweise besseres logisches Denken, das abstrakte, mehrstufige Prozesse beinhaltet. Für solche Aufgaben stehen nicht immer reichlich gelabelte Daten zur Verfügung. Daher wird verstärkendes Lernen häufig zur Erstellung von Argumentationsmodellen eingesetzt, die so feinabgestimmt wurden, dass sie komplexe Probleme in kleinere Schritte, sogenannte „Argumentationsspuren“, unterteilen, bevor eine endgültige Ausgabe generiert wird. Durch immer ausgefeiltere Trainingsmethoden werden die Modelle mit Gedankenketten und anderen mehrstufigen Entscheidungsfindungsstrategien ausgestattet.

Eine weitere Form der LLM-Anpassung ist die Befehlsoptimierung, ein Prozess, der speziell entwickelt wurde, um die Fähigkeit eines Modells zu verbessern, menschlichen Anweisungen zu folgen Die Eingabebeispiele in einem Datensatz bestehen vollständig aus Aufgaben, die Anfragen ähneln, die Benutzer in ihren Prompts stellen könnten; die Ausgaben zeigen erwünschte Antworten auf diese Anfragen. Da vortrainierte LLMs nicht von Natur aus für die Befolgung von Anweisungen oder Gesprächszielen optimiert sind, wird die Anweisungsabstimmung verwendet, um das Modell besser an die Absicht des Benutzers anzupassen.

Einmal trainiert, funktionieren große Sprachmodelle, indem sie auf Prompts reagieren, indem sie die Prompts tokenisieren, sie in Einbettungen umwandeln und ihren Transformer verwenden, um Token für Token Text zu generieren, die Wahrscheinlichkeiten für alle potenziellen nächsten Token zu berechnen und das wahrscheinlichste auszugeben. Dieser als Inferenz bezeichnete Prozess wird wiederholt, bis die Ausgabe abgeschlossen ist. Das Modell „kennt“ die endgültige Antwort nicht im Voraus; es nutzt alle statistischen Zusammenhänge, die es während des Trainings gelernt hat, um jeweils ein Token vorherzusagen und gibt dabei in jedem Schritt seine beste Schätzung ab.

Der einfachste und schnellste Weg, fachspezifisches Wissen aus einem Allzweck-LLM zu gewinnen, ist Prompt Engineering, für das kein zusätzliches Training erforderlich ist. Benutzer können Prompts auf vielfältige Weise modifizieren. So könnte beispielsweise ein Prompt wie „Antworte mit der Stimme von geschultem medizinischem Fachpersonal“ relevante Ergebnisse liefern (Hinweis: Die Verwendung von LLMs für ärztlichen Rat wird nicht empfohlen!).

LLM verfügen über andere Strategien zur Kontrolle ihrer Ausgabe, wie z. B. die LLM-Temperatur, die die Zufälligkeit des von LLM während der Inferenz generierten Textes steuert, oder das Top-k/Top-p-Sampling, das die Menge der berücksichtigten Token auf die wahrscheinlichsten beschränkt und so Kreativität und Kohärenz in Einklang bringt.

Das Kontextfenster ist die maximale Anzahl von Token, die ein Modell bei der Textgenerierung „sehen“ und gleichzeitig verwenden kann. Frühe LLM hatten kurze Fenster, neuere LLM jedoch haben Hunderttausende von Token in ihren Kontextfenstern, die Anwendungsfälle wie die Zusammenfassung ganzer Forschungsarbeiten, die Durchführung von Code-Unterstützung für große Codebasen und das Führen langer, kontinuierlicher Gespräche mit Benutzern ermöglichen.

Retrieval-Augmented Generation (RAG) ist eine Methode, um ein vortrainiertes Modell mit externen Wissensdatenbanken zu verbinden, sodass es relevantere Antworten mit einer höheren Genauigkeit liefern kann. Die abgerufenen Informationen werden in das Kontextfenster des Modells übergeben, sodass das Modell sie bei der Generierung von Antworten verwenden kann, ohne dass ein erneutes Training erforderlich ist. Durch die Verbindung eines LLM mit einer dynamischen Wetterdienst-Datenbank kann ein LLM beispielsweise Informationen für einen Benutzer über den Wetterbericht für diesen Tag abrufen.

Der Aufbau eines LLM von Grund auf ist ein komplexer und ressourcenintensiver Prozess. Die beliebtesten LLM sind das Ergebnis immenser Datenmengen, GPUs, Energie und menschlicher Expertise, weshalb die meisten von großen Technologieunternehmen mit umfangreichen Ressourcen gebaut und gewartet werden.

Viele dieser Modelle sind jedoch für alle Entwickler über APIs zugänglich. Entwickler können vortrainierte Modelle verwenden, um Chatbots, Wissensabfragesysteme, Automatisierungs-Tools und mehr zu erstellen. Für mehr Kontrolle über Daten und Anpassungen können viele Open-Source-Modelle lokal oder in der Cloud bereitgestellt werden. Github, Hugging Face, Kaggle und andere Plattformen machen KI-Entwicklung für alle zugänglich.

Entwickler können LLMs als Grundlage für alle Arten von KI-Anwendungen nutzen. Eine der aufregendsten Entwicklungen in der KI ist das agentische System. KI-Agenten denken nicht nur, sie handeln. Für sich genommen generieren LLM einfach Text auf der Grundlage des Kontextes, aber sie können in Speicher, APIs, Entscheidungslogik und andere externe Systeme integriert werden, um bestimmte Aufgaben auszuführen, wie zum Beispiel einen Flug zu buchen oder ein selbstfahrendes Fahrzeug zu steuern.

LLM definieren Geschäftsprozesse neu und haben ihre Vielseitigkeit in einer Vielzahl von Anwendungsfällen in vielen Branchen unter Beweis gestellt.

• Textgenerierung: LLMs können alle möglichen Aufgaben zur Erstellung von Inhalten erledigen, wie z. B. das Verfassen von E-Mails, Blogbeiträgen oder rechtlichen Memos als Reaktion auf Prompts.

• Textzusammenfassung: LLMs können lange Artikel, Nachrichten, Forschungsberichte, Unternehmensdokumentation und Kundenhistorien zu ausführlichen Texten zusammenfassen, die in ihrer Länge auf das gewünschte Ausgabeformat und den gewünschten Stil zugeschnitten sind.

• KI-Assistenten: Chatbots, die auf dialogorientierter KI basieren, können Fragen beantworten und detaillierte Informationen als Teil einer integrierten Echtzeit-Kundenbetreuungslösung bereitstellen. 

• Code-Generierung: Code-Assistenzplattformen unterstützen Entwickler beim Erstellen von Anwendungen, beim Auffinden von Fehlern im Code und beim Aufdecken von Sicherheitsproblemen in verschiedenen Programmiersprachen und sogar beim Übersetzen zwischen diesen.

• Stimmungsanalyse: Der Tonfall der Kunden wird analysiert, um das Kunden-Feedback in großem Maßstab besser zu verstehen. 

• Sprachübersetzung: Bietet eine breitere Abdeckung für Unternehmen in verschiedenen Sprachen und Regionen mit fließenden Übersetzungen und mehrsprachigen Funktionen.

• Argumentation: LLMs können mathematische Probleme lösen, mehrstufige Prozesse planen und komplexe Konzepte in einfacheren Worten erklären.

LLMs sind leistungsstarke Tools, die jedoch mehrere Einschränkungen aufweisen. Ein Hauptanliegen ist die Genauigkeit. Während Halluzinationen generiert das Modell Informationen, die falsch oder irreführend sind, während sie gleichzeitig plausibel klingen. LLM können auch Verzerrungen in ihren Trainingsdaten widerspiegeln und verstärken und so zu unfairen oder beleidigenden Ausgaben führen. Darüber hinaus ist ihr Ressourcenbedarf erheblich: Das Training und die Durchführung von LLM-Programmen erfordert große Mengen an Strom und Energie, was sowohl Kosten- als auch Umweltbedenken aufwirft.

Praktiker können diese negativen Aspekte von LLMs durch eine umfassende KI-Governance abmildern, also durch Prozesse, Standards und Leitplanken, die dazu beitragen, dass KI-Systeme und -Tools sicher und ethisch einwandfrei sind. Ein wichtiger Teil der Governance ist die Bewertung von Modellen anhand von Benchmarks. LLM-Benchmarks liefern quantitative Bewertungen, die den Vergleich von Modellen erleichtern. Da es sich bei LLMs um Allzwecksysteme handelt, die eine Vielzahl von Aufgaben erfüllen können, erfordert ihre Bewertung mehrere Dimensionen anstelle einer einzigen Benchmark. Forscher und Praktiker betrachten Qualitäten wie Genauigkeit, Effizienz, Sicherheit, Fairness und Robustheit, um festzustellen, wie gut ein Modell funktioniert.

LLM werden auch auf der Grundlage von Ausrichtung und Sicherheit bewertet, mit Techniken wie Red-Teaming, bei denen die Bewerter absichtlich versuchen, das Modell dazu zu bringen, unsichere oder voreingenommene Antworten zu erzeugen, um Schwachstellen aufzudecken. Bewertungen von Fairness und Verzerrungen können Anwendern dabei helfen, zu verhindern, dass LLM schädliche Stereotypen oder Fehlinformationen reproduzieren.

LLMs werden in der Regel auch auf der Grundlage ihrer Effizienz bewertet. Geschwindigkeit, Energieverbrauch, Token-Durchsatz, Speicherbedarf und die Fähigkeit, lange Kontextfenster zu verarbeiten, sind einige der gängigen Metriken, anhand derer bewertet wird, wie effizient LLMs Ausgaben erzielen können.

Die Geschichte der LLM reicht bis in die Anfänge der Datenverarbeitung und der Verarbeitung natürlicher Sprache zurück, als Forscher regelbasierte Systeme und statistische Methoden zur Modellierung von Text verwendeten. Diese frühen Ansätze konnten zwar lokale Wortmuster erfassen, waren aber nicht in der Lage, weitreichende Abhängigkeiten oder tiefere Semantiken zu verstehen.

Eine große Veränderung kam in den 2010er Jahren mit dem Aufkommen von neuronalen Netzen, mit Worteinbettungen wie Word2Vec und GloVe, die Wörter als Vektoren in einem kontinuierlichen Raum darstellten und es den Modellen ermöglichten, semantische Beziehungen zu erlernen. Sequenzmodelle wie Recurrent Neural Networks (RNNs) und Long Short-Term Memory-Netzwerke (LSTM) entstanden, um sequenzielle Daten besser zu verarbeiten.

Im Jahr 2017 veröffentlichten Vaswani et al. die Encoder-Decoder Transformer-Architektur in dem wegweisenden Artikel „Attention Is All You Need“.[1] Transformer ermöglichten das Trainieren von Modellen auf großen Datensätzen und markierten damit den Beginn der modernen LLM-Ära. Googles BERT (2018), ein reiner Encoder-Transformer, demonstrierte die Leistungsfähigkeit von Transformern für das Verstehen von Sprache, während OpenAIs generative vortrainierte Transformer-Serie (GPT), die auf einer reinen Decoder-Variante basiert, zeigte, wie generatives Vortraining auf Text im Internet-Maßstab zu einer bemerkenswert flüssigen Sprachgenerierung führen kann. Etwa zur gleichen Zeit zeigten Encoder-Decoder-Modelle wie T5 von Google und BART von Facebook die Stärken des vollständigen Sequenz-zu-Sequenz-Designs für Aufgaben wie Übersetzung und Zusammenfassung. GPT-2 (2019) erregte die Aufmerksamkeit durch seine Fähigkeit, kohärente Absätze zu generieren, während GPT-3 (2020) mit 175 Milliarden Parametern LLMs als transformative Kraft in der KI zementierte.

Darüber hinaus stellen neue Architekturen die Beliebtheit von Transformern in LLMs in Frage. Mamba-Modelle funktionieren, indem sie ein Zustandsraummodell mit selektiven Aktualisierungen verwenden, das vergangene Informationen effizient filtert und kombiniert, wodurch es möglich ist, langfristige Abhängigkeiten zu erfassen. Diffusions-LLMs beginnen mit zufälligem Rauschen und entrauschen dieses schrittweise, geleitet von einem gelernten Modell, bis kohärenter Text entsteht. Beide Architekturen können wesentlich effizienter sein als Transformer.