Was ist ein nutzenbasierter Agent?

Das Ziel eines nutzenbasierten Agenten ist es, die Nutzenfunktion mit jeder Aktion zu maximieren. Um sein Ziel weiter zu verfolgen, nutzt der KI-Agent die Ergebnisse der Nutzenfunktion, um die nächstbeste Aktion auszuwählen.

Die Hauptkomponenten eines nutzenbasierten Agenten sind:

• Nutzenfunktion
   

• Sensoren
   

• Internes Modell
   

• Aktionsauswahlmechanismus
   

• Aktuatoren

Eine Nutzenfunktion ist eine mathematische Gleichung, die darstellt, wie der Agent den Nutzen möglicher Handlungen bewerten sollte. Es ist im Wesentlichen das Wertesystem des Agenten und stellt dar, wie der Agent bei seinen Entscheidungen die relevanten Faktoren priorisiert. 

Nutzenfunktionen weisen jedem Ergebnis einer möglichen Handlung einen numerischen Wert zu und quantifizieren so die Präferenzen, die der Agent beibehalten sollte. Nutzenbasierte Agenten verwenden die Nutzenfunktion, um in komplexen Umgebungen zu verhandeln, Kompromisse abzuwägen und den Nutzen ihrer Entscheidungen zu maximieren. 

Eine gute Nutzenfunktion berücksichtigt verschiedene Aspekte wie Sicherheit, Effizienz, Ressourcenallokation und Opportunitätskosten bei mehreren Zielsetzungen. Die Nutzenfunktion ist der Grundpfeiler eines nutzenbasierten Agenten und unterscheidet ihn von verschiedenen Arten von KI-Agenten.

Nutzenbasierte Agenten verwenden Sensoren, um ihre reale Umgebung wahrzunehmen. Sensoren können physischer Natur sein, wie Kameras und Thermometer, oder digitaler Natur, wie API-Verbindungen und Simulationen. Agentische KI-Wahrnehmung verwendet komplexe Algorithmen, um Umweltdaten zu filtern und die wichtigsten und relevantesten Datenpunkte für fundierte Entscheidungen zu isolieren.

Nutzenbasierte Agenten unterhalten ein vereinfachtes internes Modell ihrer realen Umgebung. Das Modell wird auf Basis der von den Sensoren des Agenten erfassten Daten erstellt und aktualisiert. Durch die Verfolgung von Umweltdaten im Zeitverlauf kann das interne Modell auch nicht beobachtbare Daten über die Umgebung des Agenten ableiten.

Viele nutzenbasierte Agenten verwenden ein Weltmodell für den Übergang von Zuständen, das die möglichen Umweltzustände festlegt und die Kriterien dafür festlegt, wann und wie sie sich von einem zum anderen ändern. Zustandsübergangsmodelle zeigen, wie sich ein System oder eine dynamische Umgebung im Laufe der Zeit verändern kann. Fortgeschrittenere Zustandsübergangsmodelle berechnen die Wahrscheinlichkeit, dass die Umgebung ihren aktuellen Zustand zu einem beliebigen Zeitpunkt ändert. 

Die Nutzenfunktion ordnet jedem Zustand einen Wert zu, und der Agent hat das Ziel, die Umgebung in den zukünftigen Zustand mit dem höchsten Nutzen zu verschieben. Zustandsübergangsmodelle sind besonders nützlich in stochastischen oder dynamischen Umgebungen, in denen der Agent eher über Wahrscheinlichkeiten als über Gewissheiten nachdenken muss.

Der Mechanismus zur Aktionsauswahl ist die KI-Entscheidungskomponente des Agenten. Basierend auf dem aktuellen Zustand des internen Modells generiert der Agent eine Liste aller potenziellen Aktionen, die er ausführen kann. Algorithmen zur Auswahl von Aktionen verwenden die Nutzenfunktion, um alle verschiedenen Aktionen zu bewerten und die Wahl des Agenten für den maximalen Vorteil zu optimieren.

In einigen modernen Implementierungen werden große Sprachmodelle (LLMs) verwendet, um über komplexe, übergeordnete Ziele nachzudenken oder mehrdeutige Eingaben zu interpretieren, bevor diese in strukturierte Nutzenberechnungen umgewandelt werden.

Aktuatoren oder Leistungselemente ermöglichen es dem Agenten, auf seine Umgebung einzuwirken. Physische Aktuatoren können ein Roboterarm auf einer Fertigungslinie, ein Thermostat sein, der die Temperatur eines Smart Home regelt, oder ein komplettes autonomes Fahrzeug. Virtuelle oder digitale Aktuatoren können eine API-Verbindung, eine Chatbot-Schnittstelle oder eine Softwareausgabe sein.

Nutzenbasierte Agenten teilen einen standardisierten internen Arbeitsablauf, der ihr Verhalten steuert:

1. Wahrnehmung
    

2. Interne Modellierung
    

3. Generierung von Aktionen
    

4. Ergebnisvorhersage
    

5. Bewertung des Nutzens
    

6. Aktionsauswahl
   
   

7. Maßnahme

Der Agent nutzt seine Sensoren, um seine Umgebung wahrzunehmen und Daten zu sammeln. Diese Daten dienen dazu, den Agenten über seinen eigenen Zustand und den aktuellen Zustand seiner Umgebung zu informieren.

Anhand der aktuellen Wahrnehmungen seiner Sensoren aktualisiert der Agent sein internes Modell seiner Umgebung in Echtzeit. Dadurch erhält der Agent ein Verständnis für seine Umgebung und alle relevanten Faktoren, die seine Entscheidungsfindung beeinflussen.

Der Agent verwendet Such- und Optimierungsalgorithmen, um eine Liste potenzieller Aktionen zu erstellen, die er auf der Grundlage seines internen Modells durchführen kann. Techniken zur Aktionsgenerierung und -auswahl ermutigen den Agenten, neue Ideen in Betracht zu ziehen und auf vergangene Erfahrungen mit bewährten Ergebnissen zurückzugreifen, um eine zuverlässige Leistung aufrechtzuerhalten. 
 
In der Praxis generieren viele Agenten nicht explizit eine vollständige Liste möglicher Aktionen. Stattdessen verwenden sie Optimierungs- oder Verstärkungsmethoden, um die wahrscheinlich besten Aktionen innerhalb eines kontinuierlichen Aktionsraums zu bewerten.

Für jede im vorherigen Schritt generierte Aktion verwendet der Agent sein Zustandsübergangsmodell, um das zu erwartende Ergebnis vorherzusagen. Das Modell berechnet die Wahrscheinlichkeit, dass ein bestimmter Zustand erreicht wird, wenn der Agent eine bestimmte Aktion ausführt.

Der Mechanismus zur Aktionsauswahl des Agenten wendet die Nutzenfunktion auf jede generierte Aktion und das damit verbundene wahrscheinliche Ergebnis an. Die Funktion gibt einen numerischen Nutzen-Score für jede mögliche Wahl zurück. Höhere Werte bedeuten einen größeren Nutzen.

Der Agent wählt die Aktion aus, die zu dem Ergebnis mit dem größten Gesamtnutzen führt, der durch die Präferenzen der Nutzenfunktion bestimmt wird. Da das Ziel des Agenten darin besteht, seine Nutzenfunktion zu maximieren, veranlasst der Aktionsauswahlprozess den Agenten, so zu handeln, dass die Ziele des KI-Systems, in dem der Agent eingesetzt wird, gefördert werden.

Der Agent wählt die Aktion aus, die zu dem Ergebnis mit dem größten Gesamtnutzen führt, der durch die Präferenzen der Nutzenfunktion bestimmt wird. Da das Ziel des Agenten darin besteht, seine Nutzenfunktion zu maximieren, handelt der Agent so, dass er die Ziele des KI-Systems, in dem er eingesetzt wird, fördert.

Nutzenbasierte Agenten sind ideal für komplexe Aufgaben mit mehreren konkurrierenden Anweisungen. Dies kann Folgendes beinhalten: 

• Smart Homes: Nutzenbasierte Agenten können die intelligenten Systeme in einem Smart Home mit Strom versorgen und dabei Prioritäten wie Komfort, Energiekosten und Nachhaltigkeit abwägen. 

• Selbstfahrende Autos: Autonome Fahrzeuge stellen Ingenieure des maschinellen Lernens vor eine Reihe komplexer Probleme. Agentengesteuerte Autos müssen mit menschlichen Treibern, Fußgängern, Hindernissen, Wetter, Straßensperrungen und vielen anderen Bedingungen in einer dynamischen Umgebung zurechtkommen. Die Problemlösung in dieser Umgebung erfordert eine gut durchdachte Nutzenfunktion. 

• Gesundheitswesen: Da sie verschiedene Überlegungen unter einen Hut bringen können, um einen maximalen Nutzen zu erzielen, können nutzenbasierte Agenten möglicherweise bei der Formulierung von Behandlungsplänen und der Kostenverwaltung helfen. 

• Robotertechnik: Roboter müssen auch verschiedene Faktoren abwägen, um den maximalen Vorteil zu erzielen. Bei Liefer-Bots müssen viele der gleichen Aspekte berücksichtigt werden wie bei autonomen Fahrzeugen. 

• Empfehlungs- und Preissysteme: Die Nutzenfunktion ermöglicht es dem Agenten, Faktoren wie die Präferenzen des Nutzers, Tages- und Jahreszeit sowie größere Trends abzuwägen, um den Nutzer zu unterhalten. Bei generativen KI-Systemen kann ein nutzenbasierter Ansatz die Generierung von Inhalten steuern, die am besten der Absicht, dem Kontext und den langfristigen Zielen des Benutzers entsprechen. 

• Preissysteme: Ebenso können nutzenbasierte Agenten dynamische Preissysteme verwalten, um Einkäufe und Einnahmen für ein Unternehmen zu maximieren. 

• Automatisierung von Logistik und Lieferkette : Komplexe Lieferketten erfordern ein ausgewogenes Verhältnis zwischen Faktoren wie Effizienz, Kosten, Risiko, Qualität und mehr. Unternehmen können die Nutzenfunktion eines Logistikagenten anpassen, um die für ihr Geschäft wichtigsten Faktoren zu priorisieren und ein skalierbares System zu schaffen.

Nutzenbasierte Agenten und zielorientierte Agenten sind beide in Situationen nützlich, in denen der Agent auf ein langfristiges Ergebnis hinarbeiten muss. Der Unterschied besteht jedoch darin, dass nutzenbasierte Agenten versuchen, den Nutzen ihrer Entscheidungen zu maximieren, während zielorientierte Agenten spezifische Ziele verfolgen. Sie werden durch Zielerreichung motiviert. 

Während ein zielorientierter Agent alle zielgerichteten Zustände als gleich wünschenswert behandelt, kann ein nutzenbasierter Agent zwischen ihnen nach Grad unterscheiden, was eine nuanciertere Entscheidungsfindung ermöglicht. Nutzenbasierte Agenten können mehrere widersprüchliche Ziele verwalten und ihre Leistung auch angesichts ungewisser Ergebnisse aufrechterhalten.

Nutzenbasierte Agenten sind robust und in der Lage, komplexe Probleme und wechselnde Umgebungen zu bewältigen und dabei konsistente Ergebnisse zu liefern. Zu den Vorteilen von nutzungsbasierten Agenten gehören: 

• Anpassungsfähigkeit: Nutzenbasierte Agenten verwenden fließende Nutzenfunktionen anstelle von festen regelbasierten Systemen wie Bedingungs-Aktions-Regeln. Sie können sich an veränderte Bedingungen und neue Aufgaben anpassen, wo niedrigere Ebenen einfache reflexive Agenten und modellbasierte Reflexagenten gegen ihre starre, regelbasierte Programmierung ankämpfen könnten.
   

• Flexibilität: Nutzenbasierte Agenten können erfolgreich konkurrierende Prioritäten jonglieren, um Entscheidungen zu treffen, die dennoch zu guten Ergebnissen führen. Zielorientierte Agenten konzentrieren sich ausschließlich auf ein bestimmtes Ziel und haben möglicherweise Schwierigkeiten, andere Richtlinien zu berücksichtigen.
   

• Zuverlässigkeit: Nutzenfunktionen veranlassen nutzenbasierte Agenten dazu, auch dann rationale Entscheidungen zu treffen, wenn die Ergebnisse ungewiss sind. Die Entscheidungen, die diese Agenten treffen, führen wahrscheinlich zu langfristig vorteilhafteren Ergebnissen.

Nutzenbasierte Agenten sind zwar in vielen Umgebungen leistungsfähig, aber nicht immer die beste Wahl. Zu ihren Einschränkungen gehören: 

• Starrheit: Ohne ein Lernelement können nutzenbasierte Agenten nicht aus ihren Aktionen lernen und ihre Nutzenfunktionen und Zustandsübergangsmodelle nicht autonom aktualisieren. Durch das Hinzufügen eines Lernelements können sie sich durch bestärkendes Lernen verbessern, werden aber formaler als Hybridagenten oder sogar Lernagenten definiert.
   

• Rechnerische Anforderungen: Nutzenfunktionen sind komplexe Algorithmen, deren kontinuierliche Ausführung erhebliche Rechenleistung und Energie erfordert. Ohne ausreichende Rechenleistung könnten nutzenbasierte Agenten für den Echtzeiteinsatz in zeitkritischen Situationen zu langsam sein.
   

• Komplexität: Effektive Nutzenfunktionen sind schwer zu entwerfen, und ein nutzenbasierter Agent ist nur so effektiv wie seine Nutzenfunktion. Maschinelles Lernen Ingenieure müssen ihr Wertesystem erfolgreich in eine numerische Gleichung umwandeln, die den Agenten dazu zwingt, angemessene Entscheidungen zu treffen.
   

• Ethische Überlegungen: Die nutzenbasierte Entscheidung wirft ein ethisches Problem auf. Wer legt das Wertesystem für den Agenten fest – insbesondere, wenn es sich wie bei selbstfahrenden Autos um einen Agenten handelt, der potenziell Menschen schaden kann? Da intelligente Agenten immer autonomer und allgegenwärtiger werden, ist es entscheidend zu definieren, wer ihre zugrundeliegenden Wertesysteme bestimmt und wie diese Werte mit gesellschaftlicher Ethik übereinstimmen. 
   

Um einige dieser Herausforderungen zu überwinden, werden nutzenbasierte Agenten häufig in Multi-Agenten-Systeme integriert, in denen mehrere spezialisierte Agenten zusammenarbeiten, Informationen teilen und konkurrierende Ziele ausbalancieren. In solchen Architekturen trägt die Nutzenfunktion eines jeden Agenten zur kollektiven Strategie des Systems bei.