Ein Reasoning Model, auch Thinking Model oder Large Reasoing Model (LRM) genannt, ist ein Large Language Model (LLM) das speziell für die mehrstufige Lösung komplexer Aufgaben fein abgestimmt wurde. Dazu erzeugt es Zwischenschritte, häufig als „Reasoning Traces“ (Schlussfolgerungsschritte) bezeichnet, mit deren Hilfe es seine Ausgabe iterativ verfeinert, bevor es die endgültige Antwort erstellt.
Reasoning Models sind darauf trainiert, anspruchsvolle Chain-of-Thought-Verfahren und andere mehrstufige Entscheidungsstrategien einzusetzen. Sie repräsentieren den aktuellen Stand der Technik bei LLMs, insbesondere in Bereichen wie Mathematik, Programmierung und anderen Disziplinen, die logisches Schlussfolgern erfordern. Ursprünglich wurden sie als eigenständige, spezialisierte Modellklasse eingeführt. Inzwischen sind diese „Thinking Models“ weit verbreitet. Die meisten modernen LLMs bieten heute einen Thinking Mode oder vergleichbare Funktionen für logisches Schlussfolgern.
Das Konzept des „Reasoning Models“ wurde erstmals im September 2024 mit OpenAI o1-preview (und o1-mini) vorgestellt. Es folgten „Alibaba Qwen with Questions“ (QwQ-32B-preview) im November sowie Google Gemini 2.0 Flash Experiment im Dezember. Ein Meilenstein in der Entwicklung von Reasoning LLMs war die Veröffentlichung des Open-Source-Modells DeepSeek-R1 im Januar 2025. Während die Trainingsprozesse, die zur Feinabstimmung früherer Reasoning Modelle verwendet wurden, streng gehütete Geheimnisse waren, veröffentlichte DeepSeek ein detailliertes technisches Dokument, das anderen Modellentwicklern ein Blueprint bot. IBM Granite, Anthropic und Mistral KI sowie andere haben seitdem eigene Reasoning LLMs veröffentlicht.
Einfach ausgedrückt sind LLMs darauf trainiert, mehr Zeit mit dem „Nachdenken“ zu verbringen, bevor sie antworten. Es hat sich empirisch gezeigt, dass die Hinzufügung dieses „Reasoning-Prozesses“ zu erheblichen Fortschritten in der LLM-Leistung bei komplexen Denkaufgaben führt. Dieser Erfolg hat die realen Anwendungsfälle und Domänen erweitert, auf die KI-Modelle angewendet werden können, und einen wichtigen Wendepunkt in der laufenden Entwicklung von generativer KI und KI-Agenten markiert.
Dabei ist jedoch zu beachten, dass anthropomorphe Begriffe wie der „Denkprozess“ eines Modells eher der Veranschaulichung dienen als eine wörtliche Beschreibung darstellen. Wie alle Modellen des maschinellen Lernens wenden auch Reasoning Models letztlich lediglich hochentwickelte Algorithmen an, um Vorhersagen zu treffen – beispielsweise darüber, welches Wort als Nächstes folgen sollte. Diese Vorhersagen beruhen auf Mustern, die während des Trainings aus den Trainingsdaten gelernt wurden.Reasoning LLMs haben weder Bewusstsein noch andere Anzeichen einer künstlichen allgemeinen Intelligenz (Artificial General Intelligence, AGI) gezeigt. Ein häufig zitierter Forschungsbeitrag von Apple, der auf der NeurIPS 2025 vorgestellt wurde, stellt infrage, ob die heutigen Fähigkeiten von Modellen zum logischen Schlussfolgern auf wirklich verallgemeinerbares Schlussfolgern erweitert werden können.
Am treffendsten lässt sich vielleicht sagen, dass Reasoning LLMs darauf trainiert werden, ihren Lösungsweg offenzulegen, indem sie eine Folge von Tokens (Wörtern) erzeugen, die einem menschlichen Denkprozess ähnelt. Dieses „Verbalisieren“ von Gedanken scheint latente Fähigkeiten zum logischen Schlussfolgern freizusetzen, die LLMs implizit aus ihrem umfangreichen Trainingskorpora lernen (der zahlreiche Beispiele dafür enthält, wie Menschen ihre Denkprozesse direkt oder indirekt formulieren).
Erhalten Sie kuratierte Einblicke in die wichtigsten – und faszinierendsten – KI-Neuheiten. Abonnieren Sie unseren wöchentlichen Think-Newsletter. Weitere Informationen in der IBM Datenschutzerklärung.
Durch Hinzufügen eines „Denkprozesses“ zu den Modellausgaben werden viele der inhärenten Mängel der standardmäßigen LLM-Inferenz abgemildert, indem dem Modell geholfen wird, schädliche kognitive Abkürzungen zu vermeiden und mehr potenziell relevantes Wissen zutage zu fördern, das es aus Trainingsdaten gelernt hat.
Im Zusammenhang mit Reasoning LLMs verweist die KI-Forschung häufig auf „System-1“- und „System-2“-Denken. Diese Begriffe gehen auf den Nobelpreisträger und Verhaltensökonomen Daniel Kahneman und sein wegweisendes Werk Thinking, Fast and Slow zurück.System-1-Denken ist schnell, unbewusst und intuitiv. Es basiert auf Heuristiken und erfordert kaum bewussten Aufwand. System-2-Denken ist langsam, überlegt und logisch und setzt bewusstes Nachdenken voraus. Forschungsergebnisse zeigen übereinstimmend, dass autoregressive LLMs standardmäßig dem System-1-Denken zugeneigt sind.
Für manche Aufgaben ist System-1-Denken effektiv und rechnerisch effizient. Für viele andere reicht das impulsive System-1-Denken jedoch nicht aus. In einem Artikel der Meta-Forscher Jason Weston und Sainbayar Sukhbaatar aus dem Jahr 2023 wurde beispielsweise festgestellt, dass LLMs leicht durch irrelevanten Kontext oder subjektive Details im Eingabeprompt beeinflusst werden.
Beispiel dafür, wie nicht rationale LLMs oft durch irrelevante Informationen „abgelenkt“ werden. Entnommen aus dem Artikel „System 2: Aufmerksamkeit (ist etwas, das Sie möglicherweise auch brauchen)“.
Sie schlugen eine Klasse von Techniken vor, die sie „System 2Attention“ (S2A) nannten und bei denen das Modell angewiesen wird, zunächst eine neu geschriebene Version des Eingabe-Prompts befreit von irrelevantem Kontext zu erzeugen, dann auf dieses neu geschriebene Prompt antwortet. In Experimenten übertraf S2A die Standardinferenz bei einer Vielzahl von Aufgaben, erhöhte die Genauigkeit und verringerte die Unterwürfigkeit.
S2A, eine Methode zur frühen Inferenzskalierung. Durch Hinzufügen von Schritten zwischen Eingabe und Ausgabe – in diesem Fall, um die ursprüngliche Prompt umzuschreiben – verbessert das Modell seinen endgültigen Ausgabe. Entnommen aus dem Artikel „System 2: Aufmerksamkeit (ist etwas, das Sie möglicherweise auch brauchen)“.
Konzeptionell könnte das implizite Ziel von Argumentationsansätzen so verstanden werden, dass sie ein System-2-ähnliches Modellverhalten implementieren, das seine potenziellen Ausgaben erkundet, bewertet und verfeinert.
Die Grundlage für moderne „Thinking Models“ wurde durch frühere Forschungsarbeiten zu LLM gelegt: eine wurde 2021 von Google Research verfasst und eine weitere 2022 von Forschern der Universität Tokio. Beide Arbeiten zeigten, dass bereits das Hinzufügen der Formulierung „think step by step“ (Schritt für Schritt denken) – eine Technik, die als Chain-of-Thought Prompting bezeichnet wird – die Modellergebnisse deutlich verbessert. Eine Veröffentlichung von Google DeepMind aus dem Jahr 2024 stellte eine noch weitergehende These auf und schlug ein neues Skalierungsgesetz vor: Eine Erhöhung der Test-Time Compute – also der Rechenressourcen, die während der Generierung einer Ausgabe genutzt werden – verbessert die Modellleistung ebenso stark wie eine Erhöhung der Train-Time Compute, also der Rechenressourcen für das Training eines Modells. Chain-of-Thought Prompting ist nur eine von vielen solchen Inference-Scaling-Techniken (auch Test-time Scaling genannt), ebenso wie S2A.
Moderne Reasoning LLMs gehen jedoch einen Schritt weiter: Anstatt sich auf Prompt Engineering zu stützen, nutzen sie neue Verfahren zur Feinabstimmung und anspruchsvolle Workflows, um den Rechenaufwand während der Inferenz intrinsisch zu erhöhen. Die Optimierung eines Reasoning Models umfasst sowohl die technische Herausforderung, Algorithmen und Trainingsdaten zu entwickeln, als auch die konzeptionelle Herausforderung, einen idealen „Denkprozess“ zu entwerfen.
Die Anfangsphasen von LLMs zum Trainieren von Schlussfolgerungen spiegeln die von herkömmlichen LLMs wider. Wie Standard-LLMs erhalten auch Argumentationsmodelle ihre allgemeine linguistische Einrichtung und ihr Weltwissen durch ein groß angelegtes,selbstüberwachtes Vortraining, gefolgt von einem gewissen Grad an überwachter Feinabstimmung (Supervised Fine-Tuning, SFT), um es an nachgelagerte Aufgaben (wie die Nutzung eines dialogorientierten Chatbots) anzupassen. Die zentrale Innovation ist die Anwendung neuartiger Reinforcement Learning-(RL-)Techniken, die dem Modell einen Anreiz geben, zwischenzeitliche „Argumentationsschritte“ zur Inferenzzeit zu generieren, bevor sie einen endgültigen Output erzeugen.
Jahrelange Forschung und Experimente haben eine exponentiell wachsende Zahl von Argumentationsansätzen hervorgebracht, aber alle teilen das grundlegende Ziel, die Rechenleistung zu Testzeiten zu erhöhen. Anders als das Basis-LLM (oder anweisungsabgestimmte LLM), das als Grundlage dient, unterscheiden sich die Argumentationsmodelle durch die spezifischen Entscheidungsfindungsstrategien, für die sie trainiert wurden, sowie durch die spezifischen Algorithmen, die verwendet werden, um dieses Verhalten zu fördern.
Im Großen und Ganzen gibt es zwei Hauptmethoden, um die zur Inferenzzeit verwendete Rechenleistung zu erhöhen. Das Ziel der Feinabstimmung eines Argumentationsmodells besteht darin, es mithilfe verschiedener Lernalgorithmen darauf zu schulen, einen (oder beide) dieser allgemeinen Ansätze zu verwenden.
Die Natur der Lernparadigmen, die Denkmodelle hervorbringen, beinhaltet in der Regel das Training und die Bewertung von Problemen, deren Lösungen nachweisbar sind, wie Codierungsaufgaben oder mathematische Probleme. Benchmark-Metriken, die zur Bewertung der Leistung von Argumentationsmodellen verwendet werden, konzentrieren sich daher in der Regel auf diese Bereiche. In subjektiveren Bereichen wie dem kreativen Schreiben wurde deutlich weniger Forschung über die Auswirkungen des logischen Denkens durchgeführt.
Von zentraler Bedeutung für den Aufstieg von schlussfolgernden LLMs war die Weiterentwicklung der RL-basierten Feinabstimmung, die sowohl regelbasiertes RL als auch auf Deep Learning basierendes RL („deep RL“) in LLM-Kontexten umfasst. Während überwachtes und selbstüberwachtes Lernen klar definierte, statische Trainingsaufgaben erfordern, eignet sich RL gut für die Art von dynamischen, offenen und komplexen Aufgaben, für die mehrstufige Schlussfolgerungen am nützlichsten sind.
Die Verwendung von RL zur Feinabstimmung von LLMs auf eine Weise, die abstrakte Qualitäten vermittelt, ist nicht nur für Argumentationsmodelle beschränkt. Die Standard-Trainingspipeline für ein LLM zur Verwendung in Chatbot-Umgebungen sieht beispielsweise wie folgt aus:
LLMs für logisches Denken durchlaufen in der Regel dieselben Trainingsphasen, wobei (irgendwann) eine verstärkende Lernphase hinzugefügt wird, die einen produktiven CoT-basierten Denkprozess vermittelt. Dies wird erreicht, indem die Ziele dieses Argumentationsprozesses definiert werden – die spezifischen Modellverhalten, die „belohnt“ werden sollen, wie z. B. die Erzeugung von CoT-Argumentationsspuren vor einer endgültigen Ausgabe – und dann die Modellgewichtungen so optimiert werden, dass die Belohnung maximiert wird.
Da es schwierig oder sogar unmöglich ist, eine explizite Belohnungsfunktion für eine so abstrakte und komplexe Aufgabe wie einen Argumentationsprozess zu entwerfen, der für alle komplexen Problemlösungen effektiv ist, stammt dieses Belohnungssignal oft von einem separaten Belohnungsmodell, das während des Trainings verwendet wird. In RLHF wird dieses Belohnungsmodell selbst auf menschliches Feedback trainiert und lernt, einen numerischen Wert dafür vorherzusagen, wie sehr ein Mensch eine bestimmte Antwort bevorzugen würde.
Im Kontext von RL für Argumentationsmodelle können Belohnungssignale in drei große Kategorien eingeteilt werden: Ergebnis-Belohnungsmodelle (ORMs), Prozess-Belohnungsmodelle (PRMs) und regelbasierte Belohnungssysteme.
Outcome Reward Models (ORMs) überprüfen – wie der Name bereits andeutet – die Korrektheit der endgültigen Ausgabe eines Reasoning Models und liefern Belohnungssignale, mit denen die Modellgewichte entsprechend optimiert werden. Oberflächlich betrachtet ähnelt das der Rolle einer Verlustfunktion (Loss Function) beim überwachten Lernen, auch wenn die zugrunde liegenden Mechanismen häufig komplexer sind.
Während eine Verlustfunktion in der Regel die Token-für-Token-Divergenz zwischen einem Modelloutput und der Ground Truth misst, muss ein effektives ORM in der Lage sein, eine korrekte Antwort auf ein mathematisches Problem zu erkennen, auch wenn sie ganz anders präsentiert wird als die verfügbare Ground-Truth-Antwort, was oft der Fall ist, wenn man die hohe Variabilität der langen CoT-Ausgaben bedenkt. Ebenso gibt es für die meisten realen Codierungsprobleme mehrere Lösungen: Die ganzheitliche Auswertung der Code-Ausgabe erfordert in der Regel eine Datenpipeline, die Codeschnipsel effizient ausführt und deren Ausgabe überprüft. Für andere Ausgabequalitäten, z. B. ob sie einer vorgeschriebenen Formatierung oder Anweisungen folgt, kann ein Standard-LLM als Prüfer verwendet werden.
Obwohl ORMs eine relativ einfache und rechnerisch effiziente Lösung sind, können sie potenziell Situationen belohnen, in denen fehlerhafte Denkschritte dennoch zu einer korrekten endgültigen Antwort führen, was dazu führt, dass das Modell suboptimale Denkprozesse lernt.
Process Reward Models (Prozessbelohnungsmodelle, PRMs) bewerten und belohnen (oder bestrafen) jeden einzelnen Schlussfolgerungsschritt isoliert, anstatt sich ausschließlich auf die Richtigkeit der endgültigen Antwort zu konzentrieren. Dadurch entstehen feinere Belohnungssignale und entsprechend präzisere Modellanpassungen, was zu robusteren und besser nachvollziehbaren Schlussfolgerungsprozessen führt.
PRMs sind jedoch mit einem höheren Trainings- und Implementierungsaufwand verbunden. Einflussreiche frühe PRM-Ansätze, etwa der Datensatz PRM800K von OpenAI, beruhten nahezu vollständig auf der aufwendigen Annotation von Daten durch menschliche Annotatoren. Viele spätere Ansätze, wie das einflussreiche Math-Shepherd, haben diesen Prozess automatisiert, indem sie die Gültigkeit eines Schlussfolgerungsschritts basierend darauf abgeleitet haben, wie oft er zu richtigen Ergebnissen führt.
Um die Kosten und Komplikationen von Belohnungsmodellen zu vermeiden, gestalten einige RL-basierte Feinabstimmungsansätze die Trainingsaufgaben so, dass die Bewertung der Modellausgaben vereinfacht wird.
So veranlassen die Verfahren DeepSeek-R1 und R1-Zero Modelle beispielsweise dazu, ihre endgültige Antwort in einem separaten Feld auszugeben. Dadurch lässt sich deren Korrektheit überprüfen, ohne dass ein spezialisiertes Reward Model die gesamte Antwort analysieren muss. Andere regelbasierte Belohnungssysteme fördern spezifische Mikroaktionen, etwa das regelmäßige Hinzufügen von „wait“ in die Modellausgabe, um eine intensivere Exploration und Selbstkorrektur anzuregen. Der Einsatz solcher Mikroaktionen verbessert nachweislich die Qualität der endgültigen Ergebnisse und lässt sich zudem einfach und kostengünstig überprüfen.
Eine einfache, anschauliche und äußerst einflussreiche Technik zur Feinabstimmung der Verstärkung wurde von DeepSeek beim Training ihres experimentellen Open-Source-Argumentationsmodells R1-Zero entwickelt.
Unter Verwendung von DeepSeek-V3 als Basis ging DeepSeek direkt vom Vortraining zu einem extrem einfachen regelbasierten Schema für Reinforcement Learning über:
Überraschenderweise lernte DeepSeek-R1-Zero ohne explizite Anweisung komplexe Gedankenketten zu erzeugen und Strategien anzuwenden, die bei Mathematik- und Denkaufgaben beeindruckende Leistungen erbrachten. Mit anderen Worten: Da das Modell nur die Aufgabe hat, zu denken, bevor es eine endgültige Antwort ausgibt und die Genauigkeit der endgültigen Antworten zu maximieren, hat das Modell auf natürliche Weise optimale Argumentationsmuster erkundet und entdeckt.
In praktischer Hinsicht wies dieser reduzierte Ansatz erhebliche Mängel auf: „DeepSeek-R1-Zero stößt auf Herausforderungen wie endlose Wiederholungen, schlechte Lesbarkeit und Sprachvermischung“, wie es in dem technischen Bericht heißt. Dennoch diente dieser reine RL-Ansatz als Grundlage für die verfeinerte Methodik, aus der das äußerst beliebte DeepSeek-R1-Modell hervorging.
Während die meisten CoT-basierten RL-Paradigmen darauf abzielen, die Effizienz einer einzelnen Ausgabe zu optimieren, generieren andere Methoden mehrere endgültige oder Zwischenausgaben mit dem Ziel, die besten Argumentationsschritte zu identifizieren und zu fördern.
Viele dieser Verfahren nutzen suchbasierte Optimierungsalgorithmen wie Beam Search, Tree of Thoughts oder die Monte-Carlo-Baumsuche (Monte Carlo Tree Search, MCTS), um mehrere Schlussfolgerungspfade zu erzeugen und zu untersuchen. Ein Prozessbelohnungsmodell (PRM) bewertet die Qualität und den Erfolg jedes einzelnen Denkschritts, und eine Belohnung wird dann iterativ über die Denkpfade, die zu wünschenswerten Ergebnissen geführt haben, rückpropagiert. Die Optimierung der Modellgewichtungen zur Maximierung der erwarteten Belohnung erhöht die Wahrscheinlichkeit, dass das Modell die zielführendsten Denkpfade verfolgt. Dies ist besonders hilfreich bei Schlussfolgerungsaufgaben mit einer sehr großen Zahl möglicher Entscheidungen oder bei Aufgaben, die eine umfassende langfristige Planung erfordern, um überhaupt zu einer korrekten endgültigen Antwort zu gelangen.
Während suchbasierte Algorithmen ihren Schwerpunkt naturgemäß auf Zwischenschritte legen, konzentrieren sich Sampling-Verfahren auf die endgültigen Ergebnisse. Die einfachste Form der Inference Scaling auf Basis von Sampling ist ein Best-of-N-Algorithmus: Derselbe Eingabeprompt wird einem Modell N-mal vorgelegt. Anschließend bewertet ein Outcome Reward Model (ORM) jede Ausgabe und die Antwort mit der höchsten Bewertung wird als endgültige Antwort des Modells ausgewählt.
Ein klassisches Sampling-Verfahren, Self-Consistency (auch Majority Voting genannt), benötigt kein ORM. Jede Aufgabe beginnt mit einem Chain-of-Thought Prompting. Mehrere Antworten, jeweils mit eigenen Denkpfaden, werden aus dem Decoder des Modells entnommen. Die Antwort, die unter den erzeugten Ausgaben am konsistentesten auftritt, wird als optimale Lösung ausgewählt. Dieses Verfahren kann entweder als Test-Time Scaling-Strategie eingesetzt werden, um Zufälligkeit und Halluzinationen zu reduzieren, oder zur Erzeugung hochwertiger Schlussfolgerungsdaten für auf Supervised Fine-Tuning (SFT) basierende Verfahren dienen.
Der größte Nachteil von such- und samplingbasierten Methoden für Denkmodelle besteht in der erhöhten Latenz – also längeren Reaktionszeiten – und dem damit verbundenen Rechenaufwand. Forschungen der Carnegie Mellon University legen jedoch nahe, dass kleinere Modelle mit such- oder samplingbasierten Inferenzalgorithmen ein günstigeres Verhältnis zwischen Leistung und Effizienz bieten können als größere Modelle, die mit herkömmlichen Verfahren eingesetzt werden.
Eine der konzeptionell einfachsten Möglichkeiten, Modelle für die Argumentation zu optimieren, besteht darin, einfach überwachtes Lernen auf einen Datensatz anzuwenden, der anspruchsvolle Eingabeaufforderungen und entsprechende CoT-basierte Ausgaben enthält.
Während die herkömmliche Erstellung eines Trainingsdatensatzes anhand von durch Menschen verfassten Beispielen äußerst zeit- und arbeitsaufwändig ist, haben die zunehmende Verbreitung von Reasoning Models und Verfahren zur Inference Scaling die Erzeugung geeigneter synthetischer Trainingsdaten erheblich erleichtert. Forschungen der Stanford University und des Allen Institute for AI ergaben, dass ihr s1-Modell nach der Feinabstimmung des Qwen2.5-32B-Instruct-Modells anhand eines kuratierten Datensatzes mit lediglich 1.000 Paaren aus Fragen und Reasoing Traces OpenAI o1-preview bei mathematischen Wettbewerbsaufgaben übertraf.
Knowledge Distillation kann auch eingesetzt werden, um kleinere Modelle darin zu trainieren, die Schlussfolgerungsprozesse größerer Reasoning Models nachzuahmen. Dazu werden sie mithilfe von Supervised Fine-Tuning (SFT) direkt anhand der Ausgaben des größeren „Teacher“-Modells feinabgestimmt. DeepSeek nutzte Knowledge Distillation mit DeepSeek-R1 als Teacher-Modell, um für mehrere Größen der Modelle Qwen und Llama auf Schlussfolgerungsaufgaben abgestimmte Varianten zu entwickeln.
Andere Verfahren verfolgen das Ziel, durch einen Prozess der modellinternen „Selbstverbesserung“ einen Datensatz aus Prompts und den dazugehörigen umfangreichen Chain-of-Thought-Ausgaben aufzubauen. Self-Taught Reasoner (STaR) stellt mithilfe von Few-Shot Learning Beispiele wirkungsvoller Reasoning Traces bereit und fordert ein Modell anschließend auf, für eine größere Anzahl von Beispielfragen Antworten und Begründungen zu generieren. Anschließend wird das Modell anhand der Begründungen feinabgestimmt, die letztlich zu den richtigen Antworten geführt haben. Dieser Prozess wird danach iterativ wiederholt. Reinforced Self-Training (ReST) verfolgt einen ähnlichen konzeptionellen Ansatz und dient der Feinabstimmung des Belohnungssignals (der sogenannten „Policy“), das beim Reinforcement Fine-Tuning verwendet wird. Aus beiden Ansätzen sind zahlreiche weiterentwickelte Verfahren hervorgegangen.
Trotz ihrer vielen Stärken und Nutzen haben LLMs auch Nachteile.
Reasoning Models – insbesondere solche mit vergleichsweise wenigen Parametern – neigen zu übermäßigem Nachdenken. Eine Studie von Tencent ergab, dass Reasoning Models durchschnittlich 1,953 % mehr Tokens benötigen als herkömmliche Modelle, um zur gleichen Antwort zu gelangen. Eine weitere Studie [x], die von Forschern mehrerer Universitäten durchgeführt wurde, zeigte, dass Reasoning Models in agentischen Umgebungen dazu neigen, sich in langwierigen zirkulären Denkprozessen zu verlieren, anstatt externe Tools und Informationsquellen einzubeziehen.
In einer im Juli 2025 veröffentlichten Forschungsarbeit argumentierte Anthropic, dass dieses Overthinking nicht nur ein Effizienzproblem darstellt. In der Studie „Inverse Scaling in Test-Time Compute“ wurden Fälle untersucht, in denen längere Denkprozesse die Modellleistung verschlechtern und ein umgekehrter Zusammenhang zwischen Test-Time Compute und Genauigkeit besteht. Obwohl empirisch nachgewiesen wurde, dass eine Erhöhung der Test-Time Compute die Modellleistung häufig verbessern kann, zeigte die Studie mehrere Szenarien, in denen eine größere Zahl von Reasoning Tokens vor der endgültigen Ausgabe bestehende Schwächen und Alignment-Probleme der Modelle verstärkte. Dies stellt die Annahme infrage, dass umfangreicheres Schlussfolgern die Modellausgaben grundsätzlich verbessert.
Die bereits zuvor in diesem Artikel erwähnte Apple-Studie zeigte zudem eine Reihe wenig komplexer Aufgaben, bei denen Standardmodelle besser abschnitten als Reasoning Models, sowie hochkomplexe Aufgaben, an denen beide Modelltypen scheiterten. Nach den Untersuchungen von Apple gelingt es Reasoning Models nicht, verallgemeinerbare Problemlösungsfähigkeiten für Planungsaufgaben zu entwickeln; ab einer bestimmten Komplexitätsschwelle bricht ihre Leistung auf null ein.
Obwohl Reasoning Fine-Tuning bei komplexen Aufgaben in logikbasierten Bereichen wie Mathematik und Programmierung in der Regel zu deutlichen Leistungssteigerungen führt, kann es in anderen Bereichen auch Leistungseinbußen verursachen. So zeigten die mittels Knowledge Distillation auf Basis von DeepSeek-R1 feinabgestimmten Versionen von Llama 3.1 und Qwen2.5 im Vergleich zu ihren ursprünglichen Varianten deutliche Leistungseinbußen bei ArenaHard und Alpaca-Eval-2 – zwei verbreiteten Benchmarks zur Bewertung der Fähigkeit von Modellen, komplexe Anweisungen zu bewältigen. Breiter ausgerichtete Reasoning-Techniken, wie die Thought Preference Optimization (TPO), die zur Feinabstimmung von IBM Granite 3.2 eingesetzt wurde, verbessern dagegen die Befolgung von Anweisungen deutlich – allerdings ohne nennenswerte Auswirkungen auf die Leistung in Mathematik oder Programmierung.
Benutzer müssen für alle Token bezahlen (und warten), die das Modell beim „Denken“ generiert, und diese denkenden Token verschlingen das verfügbare Kontextfenster. Einige Anwendungsfall rechtfertigen diese zusätzliche Zeit und Rechenleistung, aber für andere ist es eine Verschwendung von Ressourcen. Der ständige Wechsel von einem Denkmodell zu einem „Standard“-Modell für jede einzelne Aufgabe und jeden einzelnen Prompt ist jedoch unpraktisch.
Seit der Veröffentlichung der ersten Reasoning-Modelle hat sich die KI-Branche weitgehend „hybriden Reasoning Models“ zugewandt, bei denen sich der Umfang des Schlussfolgerungsprozesses – also die Anzahl der vor der endgültigen Ausgabe erzeugten Reasoning Tokens – gezielt steuern lässt.
Im Februar 2025 bot IBM Granite 3.2 als erstes LLM einen umschaltbaren „Denkmodus“ an, der es den Benutzern ermöglicht, Reasoning bei Bedarf zu nutzen und ansonsten Effizienz zu priorisieren.16 Claude 3.7 Sonnet von Anthropic folgte wenige Wochen später und bot API-Nutzern die Möglichkeit, eine fein abgestufte Kontrolle darüber zu haben, wie lange das Modell „denkt“. Google führte anschließend eine ähnliche Möglichkeit zur Anpassung des „Thinking Budgets“ von Gemini-Modellen ein, und OpenAI ermöglichte bald darauf, den „Denkaufwand“ seiner o1- und o3-Denkmodelle auf „niedrig“, „mittel“ oder „hoch“ einzustellen.
Seither hat sich dieser Ansatz weitgehend als Standard etabliert. Obwohl einige bedeutende Sprachmodellfamilien weiterhin in separaten Varianten mit und ohne Reasoning veröffentlicht werden, bieten die meisten Anbieter inzwischen Reasoning-fähige Modelle an, bei denen der Reasoning Effort vom Benutzer deaktiviert werden kann.
Offenbar hilft die Offenbarung der Gedankenkette des Modells dem Nutzer, ein Verständnis dafür zu erhalten, wie ein LLM zu seinen endgültigen Antworten kommt, was eine größere Interpretierbarkeit bietet als üblicherweise mit einem Standardmodell. Aber Forschungen von Anthropic legen nahe, dass Denkmodelle nicht immer sagen, was sie tatsächlich denken. In einer Reihe speziell entwickelter Aufgaben stellten Forscher fest, dass sowohl Claude 3.7 Sonnet als auch DeepSeek-R1 ihre Argumentation nicht getreu erklärten: So erwähnten ihre Antworten bei Hinweisen auf die richtige Antwort selten diese Hinweise bei der Beschreibung ihrer angeblichen Begründung.
Erkunden Sie die Foundation-Model-Bibliothek im watsonx-Portfolio von IBM zur zuverlässigen Skalierung generativer KI für Ihr Unternehmen.
Setzen Sie KI in Ihrem Unternehmen ein – mit branchenführendem Fachwissen im Bereich KI und dem Lösungsportfolio von IBM an Ihrer Seite.
Erfinden Sie kritische Workflows und Abläufe neu, indem Sie KI einsetzen, um Erfahrungen, Entscheidungsfindung in Echtzeit und den geschäftlichen Nutzen zu maximieren.