Was ist ein modellbasierter Reflexagent?

Modellbasierte Reflexagenten sind für den Einsatz in dynamischen oder teilweise beobachtbaren Umgebungen konzipiert. Das interne Referenzmodell des Agenten wird als Ergebnis der Aktionen des Agenten aktualisiert, sodass das Modell auf andere Aspekte seiner Umgebung schließen kann. Im Gegenzug bezieht sich der Agent auf seinen internen Status, um zukünftige Aktionen zu beeinflussen.

Der Unterschied zwischen modellbasierten Reflexagenten und einfachen Reflexagenten besteht darin, dass zwar beide Arten von KI-Agenten die KI-Agentenwahrnehmung nutzen können, um in Echtzeit auf sich verändernde Umgebungen zu reagieren, modellbasierte Reflexagenten jedoch über ein persistentes Gedächtnis ihrer Umgebung verfügen. Einfache Reflexagenten sind eine weniger komplexe Form der agentischen KI, die Entscheidungen ausschließlich auf Basis des aktuellen Umgebungszustands trifft. 

Da einfache Reflexagenten nur über ihre aktuelle Wahrnehmung verfügen, sind sie in Bezug auf informierte Entscheidungsfindung eingeschränkt: Sie können sich weder an frühere Informationen erinnern noch vorhersehen, wie sich ihre Umgebung verändern wird, sei es als Folge ihrer eigenen Handlungen oder anderer externer Faktoren. 

Im Gegensatz zu einfachen Reflexagenten behalten modellbasierte Reflexagenten einen symbolischen internen Zustand bei, der vergangene Wahrnehmungen und abgeleitete Umweltfakten aufzeichnet. Das interne Modell ermöglicht es ihnen, mit teilweise beobachtbaren oder dynamischen Umgebungen effektiver umzugehen. Diese Agenten können vorhersagen, wie sich Aktionen auf ihre Umgebung auswirken könnten, und ermöglichen so eine adaptive Entscheidungsfindung.

Modellbasierte Reflexagenten bestehen aus vier Hauptkomponenten:

• Sensoren
   

• Internes Modell
   

• Argumentationskomponente
   

• Aktuatoren

Sensoren ermöglichen es dem Agenten, Umweltreize und Informationen wahrzunehmen. Sensorische Eingaben können direkte physikalische Informationen wie Kamerabilder oder Temperaturmessungen oder virtuelle Daten wie API-Verbindungen oder simulierte Datenströme umfassen. Ohne Sensoren könnte der Agent keine Umweltdaten gewinnen und daraus lernen.

Das interne Modell repräsentiert das aktuelle Verständnis des Agenten von seiner Umgebung, einschließlich vergangener Erfahrungen, abgeleiteter, nicht gesehener Zustände und Vorhersagen darüber, wie mögliche Handlungen diese Umgebung verändern könnten.

Eine Argumentationskomponente trifft Entscheidungen auf der Grundlage der Daten im internen Modell. Die Argumentation des Agenten ist oft regelbasiert, wie z. B. bei der Bedingungs-Aktions-Regel, die vordefinierte Regeln verwendet, die dem Agenten sagen, wie er sich verhalten soll.  

Die Bedingungs-Aktions-Regel legt eine Reihe von Wenn-Dann-Anweisungen fest, die einem Agenten mitteilen, was in einer bestimmten Situation zu tun ist. Bei einem selbstfahrenden Auto könnte beispielsweise eine Bedingungs-Aktions-Regel dem Agenten sagen, dass er bremsen soll, wenn ein Hindernis vor dem autonomen Fahrzeug erkannt wird. Oder wenn der Agent ein Smart Home steuert, könnte er die Klimaanlage einschalten, wenn das Thermostat eine bestimmte Temperatur registriert. 

Andere Argumentationskomponenten verwenden das Zustands-Aktions-Modell, das die möglichen Zustände eines Systems und alle Aktionen oder Ereignisse beschreibt, die dazu führen könnten, dass es sich zwischen diesen Zuständen bewegt. Im Gesundheitswesen können Zustands-Aktions-Modelle vorhersagen, wie sich der Zustand eines Patienten durch mögliche Behandlungen verbessern oder verschlechtern könnte.

Aktuatoren, oder Leistungselemente, sind die Mittel, mit denen der Agent seine Umgebung beeinflusst. Aktionen können physisch oder virtuell sein, wie z. B. Software-Ausgaben oder API-Aufrufe. In der Robotertechnik ist ein Aktuator der physische Roboter, den der Agent steuert. In einem Smart-Home-Setting ist ein Aktuator das Klimaanlagesystem des Hauses. Bei einem virtuellen Assistenten könnten die Aktuatoren API-Verbindungen zu relevanten Tools wie einem Kalender sein.

Die meisten modellbasierten Reflexagenten arbeiten nach einem vierstufigen Verhaltenskreislauf:

1. Sensorik
    

2. Interne Modellierung
    

3. Entscheidungsfindung
    

4. Maßnahmen

Nach jeder Aktion startet das Modell den Kreislauf neu, bewertet seine Umgebung neu, aktualisiert sein Modell und trifft eine neue Wahl. Diese Kreisläufe sind explizit nicht-lernend: Das interne Modell des Agenten wird aktualisiert, die Regeln des Agenten jedoch nicht.

Der Agent nutzt seine Sensoren, um seine Umgebung wahrzunehmen und beobachtbare Daten zu erfassen. Zum Beispiel kann ein Agent, der eine Flotte von Lieferrobotern betreibt, seine Kameras nutzen, um Fußgänger und Straßenverkehr zu erkennen.

Anhand der wahrgenommenen Umgebungsdaten erstellt oder aktualisiert der Agent das interne Modell seiner realen Umgebung. Das Modell verwendet beobachtbare Daten, um den Zustand nicht beobachtbarer Aspekte der Umgebung abzuleiten. Interne Modelle liefern außerdem mögliche Handlungsoptionen für den Agenten und prognostizieren, wie sich diese Aktionen auf seine Umgebung auswirken könnten.

Der Agent verwendet die Informationen in seinem internen Modell zusammen mit der Logik seiner Argumentationskomponente, um eine Entscheidung zu treffen. Wenn ein Lieferroboter ein Fußgängersignal erkennt und kein Gegenverkehr herrscht, könnte er sich entscheiden, eine Straße zu überqueren.

In der Aktionsphase verwendet der Agent seine Aktuatoren, um die in der Entscheidungsfindung getroffene Entscheidung auszuführen. Unser Lieferroboter würde seinen Motor einschalten, um Strom auf seine Räder zu übertragen und die Straße zu überqueren, seinen Weg fortsetzen.

Modellgestützte Reflexagenten sind in Umgebungen wirksam, die eine kontinuierliche Erfassung und Entscheidungsfindung in Echtzeit erfordern, wie Robotertechnik, autonome Fahrzeuge und Echtzeit-Spiel-KI. 

Bei Robotertechnik und autonomen Fahrzeugen navigieren modellbasierte Reflexagenten durch dynamische Umgebungen, um Schäden zu minimieren und den Roboter oder das Fahrzeug zu seinem Ziel zu führen. Spielagenten können Benutzeraktionen vorhersagen und darauf reagieren, um den vom Spieldesigner gewünschten Schwierigkeitsgrad zu erreichen. 

Bei groß angelegten Anwendungsfällen der Unternehmensautomatisierung sehen wir modellbasierte Reflexagenten die Effizienz maximieren, indem sie Produktion und Bestand an sich ändernde Bedingungen anpassen.

Reflexagenten sind nicht die einzigen Arten von Agenten. Weitere Arten von Agenten sind:

• Zielbasierte Agenten
   

• Nutzenbasierte Agenten
   "  

• Lernende Agenten
   

• Hierarchische Agenten

Zielbasierte Agenten arbeiten auf ein bestimmtes Ziel hin. Während Reflexagenten in der Regel reaktiv unter einer Reihe von Wenn-Dann-Bedingungen arbeiten, nutzen zielbasierte Agenten Problemlösungstechniken, um herauszufinden, wie bestimmte Ziele erreicht werden können. Der Plan besteht aus einer Reihe von Maßnahmen und konkreten Aufgaben, die voraussichtlich zur Erreichung des Ziels führen werden. 

Zielorientierte Agenten verwenden Such- und Planungsalgorithmen des maschinellen Lernens wie A\* oder den Stanford Research Institute Problem Solver (STRIPS), um eine Abfolge von Aktionen zu generieren, die das Ziel erreichen sollen.

Nutzenbasierte Agenten ähneln zielbasierten Agenten, allerdings mit einem Schwerpunkt auf Effizienz. Eine nutzenbasierte Funktion analysiert potenzielle zukünftige Zustände im Hinblick auf maximale Effektivität und weist den Ergebnissen einen numerischen Wert zu, um Unsicherheiten zu mindern. Die optimale Strategie ist diejenige, die den erwarteten Nutzen der Entscheidungen des Akteurs maximiert. Nutzenbasierte Agenten konzentrieren sich darauf, die besten langfristigen Ergebnisse zu erzielen.

Lernende Agenten verfügen über eine Funktion, die das Verhalten und die Entscheidungsfindung des Agenten auf Basis der Ergebnisse seiner bisherigen Entscheidungen optimiert. Eine Komponente zur Problemgenerierung schlägt neue Strategien vor und hilft dem Agenten so, bessere Verhaltensweisen zu entdecken, anstatt alte zu wiederholen. Diese intelligenten Agenten verbessern sich mit der Zeit. 

Lernende Agenten nutzen Methoden wie überwachtes Lernen, unüberwachtes Lernen und verstärkendes Lernen, um ihr Verhalten zu verfeinern. 

Ein lernender Aagent, der ein dynamisches Preissystem erstellen soll, analysiert beispielsweise die Reaktionen der Verbraucher und die Nachfrage, um zukünftige Preise zu optimieren. Lernende Agenten können sich an die Vorlieben eines einzelnen Nutzers anpassen, indem sie Verarbeitung natürlicher Sprache (NLP) und eine Chatbot-Oberfläche nutzen, um Eingaben und Rückmeldungen zu verarbeiten.

Hierarchische Agenten werden in Multi-Agenten-Systemen eingesetzt: Höherrangige Agenten teilen komplexe Aufgaben in Teilaufgaben auf und weisen sie dann Agenten niedrigerer Ebenen zur Erledigung zu. Höherstufige Agenten können komplexere große Sprachmodelle (LLMs) sein, während niedrigere Agenten einfachere Architekturen zur Durchführung von Aufgaben verwenden. Hierarchische agentische Systeme können jedoch Agenten beliebiger Komplexität einsetzen. 

Die beiden Gruppen von Agenten arbeiten zusammen, wobei die Ausgaben der einen Gruppe die Eingaben der anderen ergänzen und umgekehrt. Der agentische Workflow koordiniert die Kommunikation und Zusammenarbeit zwischen den Agentenebenen im KI-System.

Modellbasierte Reflexagenten bieten zwar erhebliche Flexibilität, sind aber nicht für jede Anwendung gut geeignet. Zu den Grenzen modellbasierter Reflexagenten gehören: 

• Rechenanforderungen: Die Pflege und kontinuierliche Aktualisierung des internen Modells kann erhebliche Rechenressourcen beanspruchen, was die Fähigkeit des Agenten, in zeitkritischen Umgebungen schnell zu reagieren, verringern kann.
   

• Interne Modellabhängigkeit: Ein modellbasierter Reflexagent ist nur so effektiv wie sein internes Modell. Weicht dieses Modell von den realen Gegebenheiten ab, kann der Agent suboptimale oder sogar falsche Entscheidungen treffen.
   

• Begrenzte Anpassungsfähigkeit: Modellbasierte Reflexagenten können ihr Regelwerk nicht eigenständig lernen und aktualisieren. Sollte sich die Umgebung über die Bedingungen hinaus verändern, für die der Agent programmiert wurde, wird er sich nicht anpassen können.
   

• Keine langfristige Planung: Modellbasierte Reflexagenten sind von Natur aus reaktiv. Im Gegensatz zu zielorientierten oder lernenden Agenten können sie keine langfristigen Strategien entwickeln, um umfassendere Ziele zu verfolgen.
   

• Auf einen einzigen Zweck ausgerichtet: Modellbasierte Reflexagenten sind darauf ausgelegt, eine bestimmte Funktion zu erfüllen und können mehrere oder widersprüchliche Anweisungen nicht ausbalancieren.