Agentische KI-Systeme bergen ein enormes Potenzial für Unternehmen. Ihre Autonomie ist ihr Hauptvorteil, aber diese autonome Natur kann schwerwiegende Folgen haben, wenn die agentenbasierten Systeme „aus den Fugen geraten“. Es gelten die üblichen KI-Risiken, die sich jedoch in Agentensystemen noch verstärken können.
Viele agentische KI-Systeme nutzen das bestärkende Lernen, bei dem eine Belohnungsfunktion maximiert wird. Wenn das Belohnungssystem schlecht konzipiert ist, könnte die KI Schlupflöcher ausnutzen, um auf unbeabsichtigte Weise „hohe Punktzahlen“ zu erreichen.
Hier sind einige Beispiele:
Ein Agent, der mit der Steigerung des Engagements in den sozialen Medien beauftragt ist und reißerische oder irreführende Inhalte priorisiert, wodurch versehentlich Fehlinformationen verbreitet werden.
Ein Lagerroboter, der auf Geschwindigkeit optimiert ist und Produkte beschädigt, um schneller zu werden.
Eine KI für den Finanzhandel, die darauf abzielt, Gewinne zu maximieren, und die riskante oder unethische Handelspraktiken anwendet, was zu Marktinstabilität führt.
Eine KI zur Moderation von Inhalten, die darauf ausgelegt ist, schädliche Äußerungen zu reduzieren, zensiert legitime Diskussionen.
Einige agentische KI-Systeme können sich selbst verstärken und ihr Verhalten in eine unbeabsichtigte Richtung eskalieren. Dieses Problem tritt auf, wenn die KI ohne Sicherheitsvorkehrungen zu aggressiv für eine bestimmte Metrik optimiert. Und da agentenbasierte Systeme oft aus mehreren autonomen Agenten bestehen, die zusammenarbeiten, besteht die Möglichkeit, dass sie versagen. Staus, Engpässe, Ressourcenkonflikte – all diese Fehler können sich potenziell kaskadenartig auswirken. Modelle müssen klar definierte Ziele haben, die messbar sind, und über Feedbackschleifen verfügen, damit sie sich im Laufe der Zeit immer mehr den Absichten des Unternehmens annähern können.