Reinforcement Learning (RL) ist eine Art maschinelles Lernen, bei dem autonome Agenten lernen, Entscheidungen zu treffen, indem sie mit ihrer Umgebung interagieren.
Ein autonomer Agent ist ein System, das Entscheidungen treffen und als Reaktion auf seine Umgebung handeln kann, unabhängig von direkten Anweisungen eines menschlichen Benutzers. Roboter und selbstfahrende Autos sind Beispiele für autonome Agenten.
Beim verstärkenden Lernen lernt ein autonomer Agent, eine Aufgabe durch Versuch und Irrtum auszuführen, ohne dass ein menschlicher Benutzer ihn anleitet. 1 Dabei werden insbesondere Probleme der sequenziellen Entscheidungsfindung in unsicheren Umgebungen behandelt, und es zeigt sich vielversprechend für die Entwicklung künstlicher Intelligenz.
In der Literatur wird das verstärkende Lernen oft mit dem überwachten und dem unüberwachten Lernen verglichen. Überwachtes Lernen verwendet manuell gekennzeichnete Daten, um Vorhersagen oder Klassifizierungen zu erstellen. Unüberwachtes Lernen zielt darauf ab, verborgene Muster in nicht gekennzeichneten Daten aufzudecken und zu erlernen. Im Gegensatz zum überwachten Lernen werden beim verstärkenden Lernen keine Beispiele für richtiges oder falsches Verhalten verwendet. Aber auch das verstärkende Lernen unterscheidet sich vom unüberwachten Lernen dadurch, dass es durch Versuch und Irrtum und Belohnungsfunktion lernt und nicht durch die Extraktion von Informationen über verborgene Muster.2
Bei überwachten und unüberwachten Lernmethoden wird davon ausgegangen, dass jede Aufzeichnung von Eingabedaten unabhängig von anderen Aufzeichnungen im Datensatz ist, aber dass jede Aufzeichnung ein gemeinsames zugrunde liegendes Datenverteilungsmodell aktualisiert. Diese Methoden lernen, Vorhersagen zu treffen, wobei die Modellleistung anhand der Maximierung der Vorhersagegenauigkeit gemessen wird.
Im Gegensatz dazu lernt das verstärkende Lernen, zu handeln. Es wird davon ausgegangen, dass die Eingabedaten voneinander abhängige Tupel sind, d. h. als geordnete Datenfolge, die als „Zustand-Aktion-Belohnung“ organisiert ist. Viele Anwendungen von Algorithmen des verstärkenden Lernens zielen darauf ab, reale biologische Lernmethoden durch positive Verstärkung nachzuahmen.
Beachten Sie, dass, obwohl die beiden in der Literatur nicht oft verglichen werden, sich Reinforcement Learning auch von selbstüberwachtem Lernen unterscheidet. Letzteres ist eine Form des unüberwachten Lernens, bei der Pseudolabels, die aus unmarkierten Trainingsdaten abgeleitet werden, als Ground Truth zur Messung der Modellgenauigkeit verwendet werden. Beim verstärkenden Lernen werden jedoch keine Pseudo-Labels erstellt oder anhand einer Ground Truth gemessen – es handelt sich nicht um eine Klassifizierungsmethode, sondern um einen handlungsorientierten Lernprozess. Die beiden wurden jedoch bereits erfolgreich miteinander kombiniert – mit vielversprechenden Ergebnissen.3
Branchen-Newsletter
Erhalten Sie kuratierte Einblicke in die wichtigsten – und faszinierendsten – KI-Neuheiten. Abonnieren Sie unseren wöchentlichen Think-Newsletter. Weitere Informationen in der IBM Datenschutzerklärung.
Ihr Abonnement wird auf Englisch geliefert. In jedem Newsletter finden Sie einen Abmeldelink. Hier können Sie Ihre Abonnements verwalten oder sich abmelden. Weitere Informationen finden Sie in unserer IBM Datenschutzerklärung.
Verstärkendes Lernen besteht im Wesentlichen aus der Beziehung zwischen einem Agenten, einer Umgebung und einem Ziel. In der Literatur wird diese Beziehung häufig im Rahmen des Markovschen Entscheidungsprozesses (Markov Decision Process, MDP) formuliert.
Der Agent für das verstärkende Lernen lernt durch die Interaktion mit seiner Umgebung etwas über ein Problem. Die Umgebung liefert Informationen über ihren aktuellen Zustand. Anhand dieser Informationen bestimmt der Agent dann, welche Maßnahme(n) zu ergreifen ist/sind. Wenn diese Aktion ein Belohnungssignal von der Umgebung erhält, wird der Agent dazu ermutigt, diese Aktion in einem ähnlichen zukünftigen Zustand erneut auszuführen. Dieser Vorgang wird danach für jeden neuen Status wiederholt. Mit der Zeit lernt der Agent durch Belohnungen und Bestrafungen, in der Umgebung Maßnahmen zu ergreifen, die ein bestimmtes Ziel erfüllen.4
Bei Markov-Entscheidungsprozessen bezieht sich der Zustandsraum auf alle Informationen, die der Zustand einer Umgebung liefert. Der Aktionsraum bezeichnet alle möglichen Aktionen, die der Agent innerhalb eines Zustands ausführen kann.5
Da ein RL-Agent keine manuell gekennzeichneten Eingabedaten hat, die sein Verhalten steuern, muss er seine Umgebung erkunden und neue Aktionen ausprobieren, um diejenigen zu entdecken, die belohnt werden. Aus diesen Belohnungssignalen lernt der Agent, Aktionen zu bevorzugen, für die er belohnt wurde, um seinen Gewinn zu maximieren. Der Agent muss aber auch weiterhin neue Zustände und Aktionen erforschen. Auf diese Weise kann er diese Erfahrung nutzen, um seine Entscheidungsfindung zu verbessern.
RL-Algorithmen erfordern daher, dass ein Agent sowohl das Wissen über zuvor belohnte Zustandsaktionen nutzt als auch andere Zustandsaktionen erforscht. Der Agent kann nicht ausschließlich auf Erkundung oder auf Ausbeutung abzielen. Er muss ständig neue Aktionen ausprobieren und dabei einzelne (oder Ketten von) Aktionen bevorzugen, die die größte kumulative Belohnung bringen.6
Über das Trio aus Agent, Umwelt und Ziel hinaus gibt es vier Hauptunterelemente, die Probleme beim verstärkenden Lernen (Reinforcement Learning, RL) charakterisieren.
- Richtlinien. Dies definiert das Verhalten des RL-Agenten, indem wahrgenommene Umweltzustände bestimmten Aktionen zugeordnet werden, die der Agent in diesen Zuständen ausführen muss. Dies kann in Form einer rudimentären Funktion oder eines komplexeren Rechenprozesses erfolgen. Beispielsweise kann eine Richtlinie, die ein autonomes Fahrzeug steuert, die Erkennung eines Fußgängers einer Stopp-Aktion zuordnen.
- Belohnungssignal. Dies bezeichnet das Ziel des RL-Problems. Jede der Aktionen des RL-Agenten erhält entweder eine Belohnung von der Umgebung oder nicht. Das einzige Ziel des Agenten besteht darin, die kumulativen Belohnungen aus der Umgebung zu maximieren. Bei selbstfahrenden Fahrzeugen kann das Belohnungssignal eine kürzere Fahrzeit, weniger Kollisionen, das Verbleiben auf der Straße und in der richtigen Spur, die Vermeidung extremer Verzögerungen oder Beschleunigungen usw. sein. Dieses Beispiel zeigt, dass RL mehrere Belohnungssignale enthalten kann, um einen Agenten zu leiten.
- Wertfunktion. Das Belohnungssignal unterscheidet sich von der Wertfunktion dadurch, dass das erstere einen unmittelbaren Nutzen anzeigt, während das letztere einen langfristigen Nutzen angibt. Der Wert bezieht sich auf die Erwünschtheit eines Zustands im Vergleich zu allen anderen Zuständen (mit ihren jeweiligen Belohnungen), die wahrscheinlich folgen werden. Ein autonomes Fahrzeug kann zwar die Fahrzeit verkürzen, indem es die Fahrspur verlässt, auf dem Gehweg fährt und schnell beschleunigt, aber diese drei Aktionen können seine Gesamtwertfunktion verringern. Daher kann das Fahrzeug als RL-Agent eine geringfügig längere Reisezeit in Kauf nehmen, um seine Belohnung in den drei letztgenannten Bereichen zu erhöhen.
- Modell. Dies ist ein optionales Unterelement von Reinforcement-Learning-Systemen. Modelle ermöglichen es Agenten, das Verhalten der Umgebung für mögliche Aktionen vorherzusagen. Die Agenten verwenden dann Modellvorhersagen, um mögliche Vorgehensweisen auf der Grundlage potenzieller Ergebnisse zu bestimmen. Dies kann das Modell sein, das das autonome Fahrzeug steuert und ihm dabei hilft, die besten Routen vorherzusagen, was von den umliegenden Fahrzeugen aufgrund ihrer Position und Geschwindigkeit zu erwarten ist, und so weiter.7 Einige modellbasierte Ansätze nutzen direktes menschliches Feedback beim anfänglichen Lernen und wechseln dann zum autonomen Lernen.
Es gibt zwei allgemeine Methoden, mit denen ein Agent Daten für das Lernen von Richtlinien sammelt:
- Online. Hier sammelt ein Agent Daten direkt durch die Interaktion mit seiner Umgebung. Diese Daten werden iterativ verarbeitet und gesammelt, während der Agent weiterhin mit dieser Umgebung interagiert.
- Offline. Wenn ein Agent keinen direkten Zugriff auf eine Umgebung hat, kann er anhand der protokollierten Daten dieser Umgebung lernen. Es handelt sich hierbei um Offline-Lernen. Ein großer Teil der Forschung hat sich dem Offline-Lernen zugewandt, da es praktische Schwierigkeiten beim Training von Modellen durch direkte Interaktion mit der Umgebung gibt.8
Reinforcement Learning ist ein lebendiges, fortlaufendes Forschungsgebiet, und als solches haben Entwickler eine Vielzahl von Ansätzen für Reinforcement Learning entwickelt. Dennoch sind drei viel diskutierte und grundlegende Methoden des Reinforcement Learning: dynamische Programmierung, Monte-Carlo und zeitliches Differenzlernen.
Bei der dynamischen Programmierung werden größere Aufgaben in kleinere Aufgaben unterteilt. Daher werden Probleme als Workflows mit sequenziellen Entscheidungen modelliert, die in diskreten Zeitschritten getroffen werden. Jede Entscheidung wird im Hinblick auf den sich daraus ergebenden möglichen nächsten Zustand getroffen. Die Belohnung (Reward, r) eines Agenten für eine bestimmte Aktion ist als Funktion dieser Aktion (a), des aktuellen Umgebungszustands (s) und des potenziellen nächsten Zustands (s') definiert:
Diese Belohnungsfunktion kann als (Teil) der Richtlinie verwendet werden, die die Aktionen eines Agenten regelt. Die Bestimmung der optimalen Strategie für das Verhalten des Agenten ist ein Hauptbestandteil der Methoden der dynamischen Programmierung für das verstärkende Lernen. Hier kommt die Bellman-Gleichung ins Spiel.
Die Bellman-Gleichung lautet:
Kurz gesagt definiert diese Gleichung vt(s) als die erwartete Gesamtbelohnung, die zum Zeitpunkt t beginnt und bis zum Ende eines Entscheidungs-Workflows reicht. Es wird davon ausgegangen, dass der Agent zu Beginn den Zustand s zu einem Zeitpunkt t einnimmt. Die Gleichung teilt die Belohnung zum Zeitpunkt t letztlich in die unmittelbare Belohnung rt(s,a) (d. h. die Belohnungsformel) und die erwartete Gesamtbelohnung des Agenten auf. Ein Agent maximiert somit seine Wertfunktion – die dem Gesamtwert der Bellman-Gleichung entspricht – indem er konsequent diejenige Handlung wählt, die in jedem Zustand ein Belohnungssignal erhält.9
Die dynamische Programmierung ist modellbasiert, d. h. sie erstellt ein Modell ihrer Umgebung, um Belohnungen wahrzunehmen, Muster zu erkennen und sich in der Umgebung zurechtzufinden. Monte Carlo geht jedoch von einer Blackbox-Umgebung aus und ist damit modellfrei.
Während die dynamische Programmierung potenzielle zukünftige Zustände und Belohnungssignale bei der Entscheidungsfindung vorhersagt, sind Monte-Carlo-Methoden ausschließlich erfahrungsbasiert, d. h. sie nehmen Stichproben von Zustands-, Aktions- und Belohnungssequenzen ausschließlich durch Interaktion mit der Umgebung. Monte-Carlo-Methoden lernen daher durch Ausprobieren und nicht durch probabilistische Verteilungen.
Monte Carlo unterscheidet sich außerdem von der dynamischen Programmierung in der Bestimmung der Wertfunktion. Die dynamische Programmierung strebt die größte kumulative Belohnung an, indem sie konsequent belohnte Aktionen in aufeinanderfolgenden Zuständen auswählt. Monte Carlo hingegen mittelt die Renditen für jedes Zustands-Aktions-Paar. Dies bedeutet wiederum, dass die Monte-Carlo-Methode warten muss, bis alle Aktionen in einer bestimmten Episode (oder einem Planungshorizont) abgeschlossen sind, bevor sie ihre Wertfunktion berechnet und dann ihre Richtlinie aktualisiert.10
In der Literatur wird das Lernen mit zeitlichen Unterschieden (TD) häufig als eine Kombination aus dynamischer Programmierung und dem Monte-Carlo-Verfahren beschrieben. Wie im vorherigen Fall aktualisiert TD seine Richtlinie und damit die Schätzungen für zukünftige Zustände nach jedem Schritt, ohne auf einen endgültigen Wert zu warten. Wie bei Monte Carlo lernt TD jedoch durch direkte Interaktion mit seiner Umgebung, anstatt ein Modell davon zu verwenden.11
Wie der Name schon sagt, passt der TD-Lernagent seine Strategie entsprechend der Differenz zwischen vorhergesagten und tatsächlich erhaltenen Belohnungen in jedem Zustand an. Das heißt, während bei der dynamischen Programmierung und Monte Carlo nur die erhaltene Belohnung berücksichtigt wird, berücksichtigt TD auch die Differenz zwischen der Erwartung und der erhaltenen Belohnung. Unter Verwendung dieser Differenz aktualisiert der Agent seine Schätzungen für den nächsten Schritt, ohne bis zum Planungshorizont des Ereignisses zu warten, im Gegensatz zu Monte Carlo.12
TD hat viele Variationen. Zwei wichtige Variationen sind State–Action–Reward–State–Action (SARSA) und Q-Learning. SARSA ist eine richtlinienkonforme TD-Methode, d. h. sie bewertet und versucht, ihre Entscheidungsfindungsrichtlinie zu verbessern. Q-Learning verstößt gegen die Richtlinien. Methoden, die außerhalb der Richtlinien liegen, sind solche, die zwei Richtlinien verwenden: eine für die Ausbeutung (Zielrichtlinie) und eine für die Erkundung zur Verhaltensgenerierung (Verhaltensrichtlinie).13
Es gibt eine Vielzahl von zusätzlichen Methoden des Reinforcement Learning. Die dynamische Programmierung ist eine wertbasierte Methode, d. h. sie wählt Aktionen auf der Grundlage ihrer geschätzten Werte gemäß einer Richtlinie aus, die darauf abzielt, ihre Wertfunktion zu maximieren. Im Gegensatz dazu lernen Methoden des Policy Gradient eine parametrisierte Richtlinie, die Aktionen auswählen kann, ohne eine Wertfunktion zu konsultieren. Diese werden als richtlinienbasiert bezeichnet und gelten in hochdimensionalen Umgebungen als effektiver.14
Die Schauspieler-Kritiker-Methoden sind sowohl werte- als auch richtlinienbasiert. Der sogenannte „Schauspieler“ ist ein Richtlinien-Gradient, der bestimmt, welche Maßnahmen zu ergreifen sind, während der „Kritiker“ eine Wertfunktion zur Bewertung von Maßnahmen ist. Schauspieler-Kritiker-Methoden sind im Wesentlichen eine Form von TD. Genauer gesagt bewertet der handelnde Kritiker den Wert einer bestimmten Handlung nicht nur anhand ihrer eigenen Belohnung, sondern auch anhand des möglichen Werts des folgenden Zustands, den er zur Belohnung der Handlung hinzufügt. Der Vorteil des Schauspieler-Kritiker-Ansatzes besteht darin, dass er aufgrund der Implementierung einer Wertfunktion und einer Richtlinie bei der Entscheidungsfindung effektiv weniger Interaktion mit der Umgebung erfordert.15
Da es beim Reinforcement Learning zentral um die Entscheidungsfindung in unvorhersehbaren Umgebungen geht, ist es ein Kernbereich des Interesses in der Robotik. Bei der Ausführung einfacher und wiederkehrender Aufgaben kann die Entscheidungsfindung unkompliziert sein. Kompliziertere Aufgaben, wie Versuche, menschliches Verhalten zu simulieren oder das Fahren zu automatisieren, erfordern jedoch die Interaktion mit hochvariablen und veränderlichen realen Umgebungen. Untersuchungen zeigen, dass tiefes verstärkendes Lernen (Deep Reinforcement Learning) mit tiefen neuronalen Netzen bei solchen Aufgaben hilfreich ist, insbesondere im Hinblick auf die Generalisierung und die Abbildung hochdimensionaler sensorischer Eingaben auf kontrollierte Systemausgaben.16 Studien deuten darauf hin, dass tiefgehendes verstärkendes Lernen mit Robotern stark von gesammelten Datensätzen abhängt. Daher werden in aktuellen Arbeiten Möglichkeiten zur Erfassung von Daten aus der realen Welt17 und zur Wiederverwendung früherer Daten18 untersucht, um Systeme für verstärkendes Lernen zu verbessern.
Neuere Forschungen deuten darauf hin, dass die Nutzung von Techniken und Tools zur Verarbeitung natürlicher Sprache – z. B. große Sprachmodelle (Large Language Models, LLMs) – die Generalisierung in Reinforcement-Learning-Systemen durch textuelle Darstellung von realen Umgebungen verbessern können.19 Viele Studien zeigen, wie interaktive textuelle Umgebungen kostengünstige Alternativen zu dreidimensionalen Umgebungen bieten, wenn sie Lernagenten bei aufeinanderfolgenden Entscheidungsaufgaben anleiten.20 Deep Reinforcement Learning unterstützt auch die textuelle Entscheidungsfindung in Chatbots. Tatsächlich übertrifft Reinforcement Learning andere Methoden zur Verbesserung der Dialogreaktion von Chatbots.21
Trainieren, validieren, optimieren und implementieren Sie generative KI, Foundation Models und maschinelle Lernfunktionen mit IBM watsonx.ai, einem Studio der nächsten Generation für AI Builder in Unternehmen. Erstellen Sie KI-Anwendungen mit einem Bruchteil der Zeit und Daten.
Setzen Sie KI in Ihrem Unternehmen ein – mit branchenführendem Fachwissen im Bereich KI und dem Lösungsportfolio von IBM an Ihrer Seite.
Erfinden Sie kritische Workflows und Abläufe neu, indem Sie KI einsetzen, um Erfahrungen, Entscheidungsfindung in Echtzeit und den geschäftlichen Nutzen zu maximieren.