Was versteht man unter „Human-in-the-Loop“?

Das maschinelle Lernen (Machine Learning, ML) hat in den letzten Jahren enorme Fortschritte erzielt. Dennoch können selbst hochentwickelte Deep-Learning-Modelle Schwierigkeiten mit Mehrdeutigkeit, Verzerrungen (Bias) oder sogenannten „Edge Cases“ haben – also Ausnahmefällen, die von ihren Trainingsdaten abweichen. Menschliches Feedback kann sowohl zur Verbesserung von Modellen beitragen als auch als Sicherung dienen, wenn KI-Systeme nicht die gewünschte Leistungsfähigkeit erbringen. HITL bringt dafür menschliche Expertise bewusst in den „Loop“ – den kontinuierlichen Zyklus aus Interaktion und Feedback zwischen KI-Systemen und Menschen.

Das Ziel von HITL besteht darin, KI-Systemen die Effizienz von Automatisierung zu ermöglichen, ohne dabei auf die Präzision, die Nuancen und das ethische Urteilsvermögen menschlicher Aufsicht zu verzichten.

Dank maschinellem Lernen mit Human-in-the-Loop können Menschen in KI-Workflows Eingaben machen, Ergebnisse prüfen und korrigierend eingreifen. Die wichtigsten Vorteile der Einbindung von Menschen:

• Genauigkeit und Zuverlässigkeit

• Ethische Entscheidungsfindung und Rechenschaftspflicht

• Transparenz und Erklärbarkeit

Das Ziel der Automatisierung von Workflows ist es, den menschlichen Zeit- und Arbeitsaufwand für deren Verwaltung zu minimieren. Automatisierte Workflows können jedoch in vielerlei Hinsicht schiefgehen. Manchmal stoßen Modelle auf Ausnahmefälle, die durch das Training nicht abgedeckt wurden. Ein HITL-Ansatz stellt sicher, dass Menschen fehlerhafte Eingaben korrigieren können – eine Chance für Modelle, sich im Laufe der Zeit zu verbessern. Fachwissen von Menschen hilft zudem, anomales Verhalten zu erkennen und in das Modellverständnis einzubeziehen.

Bei Anwendungen, bei denen viel auf dem Spiel steht, können Menschen zusätzliche Sicherheitsmechanismen wie Alarme, manuelle Prüfungen oder Ausfallsicherheiten einrichten, damit autonome Entscheidungen überprüft werden. So lassen sich voreingenommene oder irreführende Ergebnisse abfangen und negative Folgen vermeiden. Durch kontinuierliches menschliches Feedback passen sich KI-Modelle schneller an veränderte Umgebungen an.

Verzerrungen bleiben eine zentrale Herausforderung beim maschinellen Lernen. Zwar sind auch Menschen nicht frei von Vorurteilen, doch eine zusätzliche menschliche Kontrollinstanz kann dazu beitragen, in den Daten und Algorithmen verankerte Verzerrungen aufzudecken und abzumildern. Das fördert Fairness bei KI-Outputs.

Wenn Menschen KI-Outputs prüfen, bestätigen oder überstimmen, liegt die Verantwortung nicht nur beim Modell oder seinen Entwicklern.

Manche Entscheidungen erfordern eine ethische Abwägung, die über die Fähigkeiten von Algorithmen hinausgeht. So könnten die Empfehlungen einer algorithmischen Einstellungsplattform beispielsweise bestimmte seit jeher marginalisierte Gruppen benachteiligen. Auch wenn ML-Modelle in den letzten Jahren Fortschritte im Umgang mit der Einbeziehung von Nuancen in ihre Abwägung gemacht haben, bleibt die menschliche Aufsicht oft die beste Option. HITL ermöglicht es Menschen, die gesellschaftliche Normen, kulturellen Kontexte und ethische Graubereiche besser verstehen, automatisierte Ausgaben zu unterbrechen oder außer Kraft zu setzen.

Bei einem Human-in-the-Loop-Ansatz kann zudem festhalten werden, warum eine Entscheidung korrigiert oder aufgehoben wurde, und ein Prüfprotokoll bereitgestellt werden, das Transparenz und externe Überprüfung unterstützt. Diese Dokumentation erleichtert die rechtliche Absicherung, die Compliance-Prüfung und interne Prüfungen der Verantwortlichkeit.

Einige KI-Vorschriften schreiben bestimmte HITL-Niveaus vor. So fordert beispielsweise Artikel 14 des EU AI Act Folgendes: Hochrisiko-KI‑Systeme werden so konzipiert und entwickelt, dass sie während der Dauer ihrer Verwendung – auch mit geeigneten Instrumenten einer Mensch-Maschine-Schnittstelle – von natürlichen Personen wirksam beaufsichtigt werden können.

Diese Aufsicht soll gemäß Verordnung Risiken für Gesundheit, Sicherheit oder grundlegende Rechte verhindern oder minimieren – mithilfe von Methoden wie manueller Steuerung, Eingriffen, Übersteuerung und Echtzeitüberwachung. Die beteiligten Personen müssen dafür „kompetent“ sein, also die Fähigkeiten und Grenzen des Systems verstehen, im richtigen Umgang geschult sein und befugt sein, bei Bedarf einzugreifen. Ziel dieser Aufsicht ist es, Schäden zu vermeiden und einen ordnungsgemäßen Betrieb zu gewährleisten.

Indem Fehler erkannt werden, bevor sie Schaden anrichten, fungiert HITL als Sicherheitsnetz, insbesondere in risikoreichen oder regulierten Branchen wie dem Gesundheitswesen oder dem Finanzwesen. Darüber hinaus trägt HITL dazu bei, den „Blackbox“-Effekt zu verringern, bei dem die Gründe für KI-Outputs nicht nachvollziehbar sind. Wenn menschliche Aufsicht und Kontrolle in Entwicklungs- und Bereitstellungsprozesse eingebettet werden, können Fachleute Risiken frühzeitig identifizieren und umgehend begrenzen – seien es technische, ethische, rechtliche oder operative Risiken.

HITL ist ein Wirkungsvoller Ansatz zur Verbesserung der Leistung von Systemen des maschinellen Lernens. Allerdings bringt er auch Herausforderungen mit sich:

• Skalierbarkeit und Kosten

• Menschliche Fehler und Inkonsistenzen

• Datenschutz und Sicherheit

Menschliche Annotationen können langsam und teuer sein, insbesondere bei großen Datensätzen oder iterativen Feedbackschleifen. Mit zunehmender Datenmenge oder Systemkomplexität kann die Abhängigkeit vom Menschen schnell zum Engpass werden. Die Beschriftung von Millionen von Bildern für ein Computer-Vision-Modell mit hoher Präzision kann zum Beispiel Tausende von Stunden menschlicher Arbeit erfordern. In hochspezialisierten Bereichen wie Medizin oder Recht kommen zusätzlich teure Fachexperten hinzu. Ein falsch gekennzeichneter Tumor bei einem medizinischen Bildgebungsscan kann schwerwiegende Folgen haben.

Menschen können zwar eine höhere Genauigkeit liefern, sind aber in mancher Hinsicht anfälliger für Vorurteile und Fehler als Maschinen. Menschen können Daten oder Aufgaben unterschiedlich interpretieren, insbesondere in Bereichen, in denen es keine eindeutige richtige oder falsche Antwort gibt. Da es sich bei menschlichen Annotatoren um Menschen handelt, können sie beim Beschriften von Daten müde, abgelenkt oder verwirrt werden. Außerdem haben sie unterschiedliche Ansichten zu subjektiven Problemen, was zu Unstimmigkeiten bei der Kennzeichnung führen kann.

Die Einbindung von Menschen in interne Prüfprozesse kann zusätzliche Datenschutzrisiken bergen. Selbst gutwillige Annotatoren könnten sensible Daten, auf die sie beim Feedback zugreifen, unbeabsichtigt weitergeben oder missbrauchen.

Wenn gezieltes, hochwertiges menschliches Feedback vor, während und nach dem Training eingebunden wird, entsteht eine Feedbackschleife, die den Lernprozess beschleunigt und Modelle für maschinelles Lernen robuster, transparenter und praxisgerechter macht. Hier sind ein paar Möglichkeiten, wie menschliche Interaktion in KI-Workflows eingebettet werden kann:

• Überwachtes Lernen

• RLHF

• Aktives Lernen

Bei Anwendungen für überwachtes Lernen müssen Datenwissenschaftler Daten korrekt kennzeichnen. Diese Datenannotationen führen zu Datensätzen, die dann zum Trainieren eines Algorithmus für maschinelles Lernen verwendet werden. Bei diesem Workflow ist menschlicher Input unerlässlich und steht an erster Stelle.

Beispielsweise kann ein überwachter Ansatz im Kontext der Verarbeitung natürlicher Sprache darin bestehen, dass Menschen Texte mit „Spam“ oder „Kein Spam“ kennzeichnen, um einer Maschine beizubringen, solche Unterscheidungen zuverlässig zu treffen. In einem Computer Vision-Anwendungsfall könnte ein überwachter Ansatz darin bestehen, dass Menschen eine Reihe von Bildern mit den Labels „Auto“, „Bus“ oder „Motorrad“ versehen, damit ein Modell Aufgaben der Objekterkennung übernehmen kann.

Ein weiteres Beispiel ist das Verstärkende Lernen mit menschlichem Feedback (Reinforcement Learning from Human Feedback, RLHF), bei dem ein „Belohnungsmodell“ verwendet wird, das mit direktem menschlichen Feedback trainiert wurde und dann dazu dient, die Leistung eines KI-Agenten durch verstärkendes Lernen zu optimieren. RLHF eignet sich hervorragend für Aufgaben, deren Ziele komplex, unklar oder schwer zu spezifizieren sind.

Beim aktiven Lernen identifiziert das Modell unsichere oder wenig zuverlässige Vorhersagen und fordert menschliche Eingaben nur bei Bedarf an. Dadurch wird der Kennzeichnungsaufwand auf die schwierigsten oder mehrdeutigsten Beispiele konzentriert, was zu schnellerem und genaueren Lernen führt.