Was ist ein Chain of Thought (CoT)?

Chain of Thought Prompting ist ein Ansatz der künstlichen Intelligenz, der menschenähnliche Denkprozesse simuliert, indem er komplexe Aufgaben in eine Abfolge logischer Schritte bis hin zu einer endgültigen Lösung unterteilt. Diese Methode spiegelt einen grundlegenden Aspekt der menschlichen Intelligenz wider und bietet einen strukturierten Mechanismus zur Problemlösung. Mit anderen Worten: CoT basiert auf der kognitiven Strategie, komplexe Probleme in überschaubare Zwischengedanken zu zerlegen, die nacheinander zu einer schlüssigen Antwort führen.¹

Beim Prompt-Chaining handelt es sich um eine rudimentärere Form des CoT-Prompting, bei der die KI aufgefordert wird, Antworten auf der Grundlage eines bestimmten Kontexts oder einer Frage zu generieren. Im Gegensatz dazu geht das CoT-Prompting über die bloße Generierung kohärenter und relevanter Antworten hinaus, indem sie die KI dazu zwingt, ein vollständiges logisches Argument, einschließlich Prämissen und einer Schlussfolgerung, von Grund auf neu zu konstruieren. Während sich das Prompt-Chaining darauf konzentriert, individuelle Antworten zu verfeinern, zielt CoT-Prompting darauf ab, ein umfassendes und logisch konsistentes Argument zu erstellen und damit die Grenzen der Problemlösungsfähigkeiten von KI zu erweitern.

Stellen Sie sich vor, eine KI würde gefragt: „Welche Farbe hat der Himmel?“, dann würde die KI eine einfache und direkte Antwort generieren, wie z. B. „Der Himmel ist blau“. Wenn die KI jedoch gebeten wird, mithilfe von CoT-Prompting zu erklären, warum der Himmel blau ist, würde sie zunächst definieren, was „blau“ bedeutet (eine Primärfarbe), und dann ableiten, dass der Himmel aufgrund der Absorption anderer Farben durch die Atmosphäre blau erscheint. Diese Antwort zeigt die Fähigkeit der KI, ein logisches Argument zu konstruieren.

Chain of Thought Prompting nutzt Large Language Models (LLMs), um eine Abfolge von Argumentationsschritten zu artikulieren und das Modell dazu zu führen, analoge Argumentationsketten für neuartige Aufgaben zu generieren. Dies wird durch beispielbasierte Aufforderungen erreicht, die den Denkprozess veranschaulichen und so die Fähigkeit des Modells verbessern, komplexe Argumentationsherausforderungen zu bewältigen.² Lassen Sie uns den Ablauf dieser Prompting-Technik anhand der klassischen mathematischen Textaufgabe – dem Lösen einer Polynomgleichung – verstehen.

Das CoT-Prompting (Chain of Thought) kann bei der Lösung von Polynomgleichungen erheblich helfen, indem es ein Large Language Model (LLM) anleitet, einer Reihe logischer Schritte zu folgen, wodurch der Problemlösungsprozess aufgeschlüsselt wird.² Lassen Sie uns untersuchen, wie das CoT-Prompting eine Polynomgleichung lösen kann.

Betrachten Sie das Beispiel der Lösung einer quadratischen Gleichung.

Eingabeaufforderung: Löse die quadratische Gleichung: x² – 5x + 6 = 0

Wenn wir diese Aufforderung im IBM watsonx.ai Chat geben, können wir die folgende Konversation zwischen einer menschlichen Frage und der Antwort der KI-Unterstützung sehen.

Um diese Art von Ausgabe zu generieren, funktionieren die Grundlagen des CoT wie in der folgenden Abbildung dargestellt. Die endgültige Antwort der Gedankenkette wird sein: „Die Lösungen der Gleichung x² – 5x + 6 = 0 sind x = 3 und x = 2“.

Das CoT-Prompting (Chain of Thought) hat sich zu verschiedenen innovativen Varianten weiterentwickelt, die jeweils darauf zugeschnitten sind, spezifische Herausforderungen zu bewältigen und die Argumentationsfähigkeiten des Modells auf einzigartige Weise zu verbessern. Diese Anpassungen erweitern nicht nur die Anwendbarkeit von CoT auf verschiedene Bereiche, sondern verfeinern auch den Problemlösungsprozess des Modells.³

Die Zero-Shot-Variante der Gedankenfolge nutzt das in Modellen enthaltene Wissen, um Probleme ohne vorherige spezifische Beispiele oder Feinabstimmung für die anstehende Aufgabe anzugehen. Dieser Ansatz ist besonders wertvoll, wenn es sich um neuartige oder vielfältige Problemtypen handelt, bei denen möglicherweise keine maßgeschneiderten Trainingsdaten verfügbar sind.⁴ Bei diesem Ansatz können die Eigenschaften des Standard-Promptings und des Few-Shot-Promptings genutzt werden.

Wenn beispielsweise die Frage „Was ist die Hauptstadt eines Landes, das an Frankreich grenzt und eine rot-weiße Flagge hat?“ gestellt wird, würde ein Modell mit Zero-Shot-CoT auf sein eingebettetes geografisches und Flaggenwissen zurückgreifen, um Schritte abzuleiten, die zur Schweiz als Antwort führen, obwohl es nicht explizit auf solche Abfragen trainiert wurde.

Ein automatischer Chain of Thought (Auto-CoT) zielt darauf ab, den manuellen Aufwand bei der Erstellung von Prompts zu minimieren, indem die Generierung und Auswahl effektiver Denkpfade automatisiert wird. Diese Variante verbessert die Skalierbarkeit und Zugänglichkeit von CoT und ermöglicht so ein breiteres Spektrum von Aufgaben und Benutzern.^{5, 8}

Um beispielsweise eine Rechenaufgabe wie „Wenn Sie 5 Äpfel kaufen und bereits 3 haben, wie viele haben Sie dann insgesamt?“ zu lösen, könnte ein automatisches CoT-System automatisch Zwischenschritte generieren, wie „Beginnen Sie mit 3 Äpfeln“ und „Fügen Sie zu den vorhandenen 3 Äpfeln 5 Äpfel hinzu“, was in „Gesamtanzahl Äpfel = 8“ gipfelt und den Denkprozess ohne menschliches Eingreifen rationalisiert.

Ein multimodaler Chain of Thought erweitert das CoT-Framework um Eingaben aus verschiedenen Modalitäten, wie Text und Bilder, und ermöglicht es dem Modell, verschiedene Arten von Informationen für komplexe Denkaufgaben zu verarbeiten und zu integrieren.⁶

Wenn beispielsweise ein Modell mit einem Bild eines überfüllten Strandes konfrontiert wird und gefragt wird: „Ist dieser Strand im Sommer wahrscheinlich beliebt?“, könnte ein Modell, das multimodales CoT einsetzt, visuelle Hinweise (einschließlich Strandbelegung, Wetterbedingungen und mehr) zusammen mit seinem textlichen Verständnis der saisonalen Beliebtheit analysieren, um eine detaillierte Antwort zu finden, wie z. B. „Der Strand ist überfüllt, ein Zeichen für hohe Beliebtheit, mit hoher Wahrscheinlichkeit noch weiter steigend im Sommer.“

Diese Varianten der Gedankenführung zeigen nicht nur die Flexibilität und Anpassungsfähigkeit des CoT-Ansatzes, sondern deuten auch auf das enorme Potenzial für zukünftige Entwicklungen im Bereich der KI-Argumentation und der Problemlösungsfähigkeiten hin.

CoT-Prompting ist eine leistungsstarke Technik, um die Leistung der Large Language Models (LLMs) bei komplexen Argumentationsaufgaben zu verbessern. Sie bietet erhebliche Vorteile in verschiedenen Bereichen, wie verbesserte Genauigkeit, Transparenz und Fähigkeit zum mehrstufigen Denken. Es ist jedoch wichtig, ihre Grenzen zu berücksichtigen, darunter die Notwendigkeit hochwertiger Prompts, erhöhte Rechenkosten, Anfälligkeit für Angriffsversuche und Herausforderungen bei der Bewertung qualitativer Verbesserungen in der Argumentation oder im Verständnis. Durch die Beseitigung dieser Einschränkungen können Forscher und Praktiker einen verantwortungsvollen und effektiven Einsatz von CoT-Prompting in verschiedenen Anwendungen sicherstellen.¹⁰

Benutzer können von einer Reihe von Vorteilen innerhalb der Gedankenkette profitieren. Einige davon sind:

• Verbesserte Prompt-Ausgaben: CoT-Prompting verbessert die Leistung von LLMs bei komplexen logischen Aufgaben, indem es diese in einfachere, logische Schritte zerlegt.
• Transparenz und Verständnis: Die Generierung von Zwischenschritten bei der Argumentation bietet Transparenz darüber, wie das Modell zu seinen Schlussfolgerungen gelangt, wodurch der Entscheidungsprozess für die Benutzer verständlicher wird.
• Mehrstufige Argumentation: Durch die systematische Herangehensweise an jede Komponente eines Problems führt CoT-Prompting oft zu genaueren und zuverlässigeren Antworten, insbesondere bei Aufgaben, die mehrstufiges Denken erfordern. Mehrstufiges Denken bezieht sich auf die Fähigkeit, komplexe logische Operationen durchzuführen, indem sie in kleinere, sequenzielle Schritte unterteilt werden. Diese kognitive Fähigkeit ist für das Lösen komplexer Probleme, das Treffen von Entscheidungen und das Verständnis von Ursache-Wirkungs-Zusammenhängen unerlässlich. 
• Liebe zum Detail: Das Modell der schrittweisen Erklärung ähnelt Lehrmethoden, die das Verständnis durch detaillierte Aufschlüsselungen fördern, wodurch CoT-Prompting in Bildungskontexten nützlich ist.
• Vielfalt: CoT kann bei einer Vielzahl von Aufgaben eingesetzt werden, darunter, aber nicht ausschließlich, beim arithmetischen Denken, beim logischen Denken und beim Lösen komplexer Probleme, was seine flexible Einsetzbarkeit unter Beweis stellt.

• Qualitätskontrolle: Die Wirksamkeit des CoT-Prompting hängt in hohem Maße von der Qualität der bereitgestellten Aufforderungen ab, weshalb sorgfältig ausgearbeitete Beispiele erforderlich sind, um das Modell präzise zu steuern.
• Hohe Rechenleistung: Die Generierung und Verarbeitung mehrerer Argumentationsschritte erfordert im Vergleich zur standardmäßigen einstufigen Eingabeaufforderung mehr Rechenleistung und Zeit. Daher ist die Übernahme dieser Technik für Unternehmen mit höheren Kosten verbunden.
• Irreführung im Konzept: Es besteht die Gefahr, dass Argumentationsketten entstehen, die zwar plausibel, aber falsch sind und zu irreführenden oder falschen Schlussfolgerungen führen.
• Teuer und arbeitsintensiv: Die Entwicklung effektiver CoT-Prompts kann komplexer und arbeitsintensiver sein und erfordert ein tiefes Verständnis des Problembereichs und der Fähigkeiten des Modells.
• Überanpassung von Modellen: Es besteht die potenzielle Gefahr, dass sich Modelle zu sehr an den Stil oder das Argumentationsmuster in den Prompts anpassen, was ihre Verallgemeinerungsfähigkeit bei unterschiedlichen Aufgaben beeinträchtigen könnte.
• Bewertung und Validierung: Während CoT die Interpretierbarkeit und Präzision verbessern kann, kann es schwierig sein, die qualitativen Verbesserungen im logischen Denken oder im Verständnis zu messen. Dies liegt an der inhärenten Komplexität der menschlichen Wahrnehmung und der subjektiven Natur der Bewertung sprachlicher Ausdrücke. Um die Wirksamkeit des Cot-Prompting zu bewerten, können jedoch mehrere Ansätze verwendet werden. Zum Beispiel kann ein Vergleich der Modellantworten mit denen eines Basismodells oder menschlicher Experten Erkenntnisse über die relativen Leistungssteigerungen liefern. Darüber hinaus kann die Analyse der vom LLM generierten Zwischenschritte des Denkens wertvolle Einblicke in den Entscheidungsprozess bieten, auch wenn es schwierig ist, die Verbesserungen im Denken oder Verstehen direkt zu messen.

Die Entwicklung des Chain of Thoughts (CoT) ist ein Beleg für die synergetischen Fortschritte in mehreren Bereichen, insbesondere in der Verarbeitung natürlicher Sprache (NLP), im Machine Learning und im aufstrebenden Bereich der generativen KI. Diese Fortschritte haben CoT nicht nur an die Spitze der komplexen Problemlösungen katapultiert, sondern auch seinen Nutzen in einem breiten Anwendungsspektrum unterstrichen. Hier gehen wir auf die wichtigsten Entwicklungen ein und integrieren die angegebenen Begriffe, um ein umfassendes Bild der Fortschritte von CoT zu zeichnen.

Innovationen im Prompt Engineering haben das Verständnis der Modelle und ihre Interaktion mit dem ursprünglichen Prompt deutlich verbessert, was zu differenzierteren und stärker kontextbezogenen Argumentationsprozessen geführt hat. Diese Entwicklung war entscheidend für die Steigerung der Effektivität von CoT.²

Die Integration in symbolische und logische Argumentationsaufgaben hat die Fähigkeit der Modelle zum abstrakten Denken und zur Ableitung verbessert und stellt einen bedeutenden Fortschritt bei der Bewältigung logikbasierter Herausforderungen mit CoT dar.⁷

Zum Beispiel ist symbolisches Denken das Lösen mathematischer Gleichungen wie 2 + 3 = 5. In diesem Fall wird das Problem in seine Bestandteile (Addition und Zahlen) zerlegt, und das Modell leitet die richtige Antwort auf der Grundlage seines erlernten Wissens und seiner Inferenzregeln ab. Logisches Denken hingegen beinhaltet das Ziehen von Schlussfolgerungen aus Prämissen oder Annahmen, wie z. B. „Alle Vögel können fliegen und ein Pinguin ist ein Vogel.“ Das Modell würde dann anhand der bereitgestellten Informationen feststellen, dass ein Pinguin fliegen kann. Die Integration von CoT-Prompting in symbolische und logische Denkaufgaben hat es LLMs ermöglicht, verbesserte Fähigkeiten im abstrakten Denken und in der Ableitung zu demonstrieren, sodass sie komplexere und vielfältigere Probleme bewältigen können.

Die Anwendung von generativer KI und Transformer-Architekturen hat CoT revolutioniert und die Generierung ausgefeilter Argumentationsketten ermöglicht, die sich durch Kreativität und Tiefe auszeichnen. Diese Synergie hat die Anwendbarkeit von CoT erweitert und beeinflusst sowohl akademische als auch praktische Bereiche.⁹

Fortschritte, die es kleineren Modellen ermöglichen, sich effektiv an CoT-Argumenten zu beteiligen, haben den Zugang zu ausgefeilten Argumentationsfunktionen demokratisiert. Der Fokus auf Selbstkonsistenz innerhalb von CoT gewährleistet die logische Stimmigkeit der generierten Pfade und erhöht die Zuverlässigkeit der von den Modellen gezogenen Schlussfolgerungen.¹¹

Die Integration von CoT in Chatbots und die Nutzung modernster NLP-Techniken hat die dialogorientierte KI verändert und Chatbots in die Lage versetzt, komplexere Interaktionen durchzuführen, die ein tieferes Maß an Verständnis und Problemlösungskompetenz erfordern.¹²

Diese Fortschritte bedeuten zusammengenommen einen Sprung nach vorne in den Fähigkeiten von CoT und der Bedeutung der Integration von Chatbots und CoT-Modellen und unterstreichen ihr Potenzial, KI-gestützte Entscheidungsfindungs- und Problemlösungsprozesse zu revolutionieren. Durch die Kombination der dialogorientierten Fähigkeiten von Chatbots mit den fortgeschrittenen logischen Fähigkeiten von CoT-Modellen können wir ausgefeiltere und effektivere KI-Systeme schaffen, die eine breitere Palette von Aufgaben und Anwendungen bewältigen können.

Darüber hinaus kann die Integration verschiedener Anwendungen und CoT-Modelle die allgemeine Benutzererfahrung verbessern, indem KI-Systeme die Bedürfnisse und Präferenzen der Benutzer besser verstehen und darauf reagieren können. Durch die Integration von Techniken zur Verarbeitung natürlicher Sprache (NLP) in CoT-Modelle können wir Chatbots in die Lage versetzen, Benutzereingaben auf eine menschlichere Art und Weise zu verstehen und darauf zu reagieren, wodurch ansprechendere, intuitivere und effektivere Dialogerfahrungen entstehen.

Die Methodik des Chain of Thoughts (CoT) mit ihrer Fähigkeit, komplexe Probleme in verständliche Argumentationsschritte zu zerlegen, hat in einer Vielzahl von Bereichen Anwendung gefunden. Diese Anwendungsfälle zeigen nicht nur die Vielseitigkeit von CoT, sondern auch sein Potenzial, die Art und Weise zu verändern, wie Systeme an Problemlösungs- und Entscheidungsaufgaben herangehen. Im Folgenden werden einige prominente Anwendungsfälle vorgestellt, in denen CoT effektiv eingesetzt wurde.

Fortschrittliche Chatbots nutzen CoT, um Kundenanfragen besser zu verstehen und zu beantworten. Indem sie das Problem eines Kunden in kleinere, überschaubare Teile zerlegen, können Chatbots präzisere und hilfreichere Antworten geben, was die Kundenzufriedenheit erhöht und den Bedarf an menschlichem Eingreifen verringert.

Forscher setzen CoT ein, um ihren Denkprozess bei der Lösung komplexer wissenschaftlicher Probleme zu strukturieren und so Innovationen zu fördern. Dieser strukturierte Ansatz kann den Entdeckungsprozess beschleunigen und die Formulierung neuartiger Hypothesen ermöglichen.

Bei der Erstellung von Inhalten hilft CoT bei der Erstellung strukturierter Gliederungen oder Zusammenfassungen, indem es Gedanken und Informationen logisch organisiert und so die Kohärenz und Qualität der geschriebenen Inhalte verbessert.

CoT ist maßgeblich an Bildungstechnologieplattformen beteiligt und hilft bei der Erstellung von Schritt-für-Schritt-Erklärungen für komplexe Probleme. Dies ist besonders wertvoll in Fächern wie Mathematik und Naturwissenschaften, in denen das Verständnis des Prozesses ebenso wichtig ist wie die endgültige Antwort. CoT-basierte Systeme können die Schüler durch Problemlösungsverfahren führen und so ihr Verständnis und ihre Erinnerung verbessern.

CoT ist entscheidend, um die Gründe für KI-gestützte Entscheidungen zu verdeutlichen, insbesondere in Szenarien, die ethische Überlegungen erfordern. Durch die Bereitstellung eines transparenten Argumentationspfads stellt CoT sicher, dass KI-Entscheidungen im Einklang mit ethischen Standards und gesellschaftlichen Normen stehen.

Diese Anwendungsfälle unterstreichen das transformative Potenzial von CoT in verschiedenen Sektoren und vermitteln einen Eindruck davon, wie die Problemlösungs- und Entscheidungsprozesse neu definiert werden können. Mit der Weiterentwicklung von CoT wird erwartet, dass sich seine Anwendungen erweitern werden, wodurch diese Methodik weiter in das Gefüge des technologischen und gesellschaftlichen Fortschritts eingebettet wird.

Das Chain of Thought Prompting bedeutet einen Sprung nach vorne in der Fähigkeit der KI, komplexe Denkaufgaben zu übernehmen und dabei menschliche kognitive Prozesse nachzuahmen. Durch die Erläuterung der Zwischenschritte der Argumentation verbessert CoT nicht nur die Problemlösungskompetenz von LLMs, sondern erhöht auch die Transparenz und Interpretierbarkeit. Trotz der inhärenten Einschränkungen erweitern die laufenden Untersuchungen zu Varianten und Anwendungen von CoT die Denkkapazitäten von KI-Modellen und kündigen zukünftige Verbesserungen der kognitiven Funktionalitäten von KI an.