Was ist Zero-Shot-Prompting?

Eines der Versprechen von Foundation Models ist, dass sie an viele Anwendungsfälle angepasst werden können, ohne dass zusätzliche Trainingsdaten erforderlich sind. Beim Zero-Shot-Prompting wird das Modell aufgefordert, eine Antwort zu generieren, ohne ein Beispiel für die gewünschte Ausgabe für den Anwendungsfall zu erhalten. Zero-Shot-Prompting ist eine Anwendung von Zero-Shot-Learning, einem maschinellen Lernmuster, das Modelle auffordert, Vorhersagen ohne Trainingsdaten zu treffen.

Im folgenden Beispiel wird das IBM granite-3-8b-instruct-Modell aus der IBM Granite Series mithilfe von Zero-Shot-Prompting für einen Klassifizierungsanwendungsfall angewiesen.² In diesem Fall wird das Modell gebeten, ein IT-Problem entweder als  „Hoch“ oder als „Niedrig“ zu klassifizieren, was auf die Dringlichkeit des Problems hinweist. In diesem Beispiel leitet das Modell die Klassifizierung „Hoch“ für den Prompt ab (wie durch die in Fettschrift dargestellte Ausgabe dargestellt), eine angemessene Antwort in diesem Kontext.

Hinweis: Der Prompt wurde in IBM watsonx.ai Prompt Lab im Modus „Freiform“ ausgeführt.

Lege den Klassennamen für das beschriebene Problem entweder als Hoch, Mittel oder Niedrig fest. Sage nur den Klassennamen für das letzte Problem voraus. Beschreibe kurz, warum dieser Klassenname gewählt wurde.

Klassenname: Hoch
Beschreibung: Ein Problem, das hohe Geschäftskosten verursacht, viele Benutzer betrifft oder beides.

Klassenname: Mittel
Beschreibung: Ein Problem, das irgendwo zwischen hoch und niedrig liegt.

Name der Klasse: Niedrig
Beschreibung: Ein Problem, das sich nur auf wenige Benutzer auswirkt, keine hohen Geschäftskosten verursacht oder beides.

Problem: Benutzer melden, dass sie keine Dateien hochladen können.

Klasse: Hoch

Beschreibung: Dieses Problem wird als hoch eingestuft, da es viele Benutzer betrifft und hohe Geschäftskosten verursacht. Wenn Dateien nicht hochgeladen werden können, können Benutzer ihre Aufgaben möglicherweise nicht erledigen, was zu Verzögerungen und geringerer Produktivität führen kann. Darüber hinaus kann sich dieses Problem auf mehrere Abteilungen oder Teams auswirken, was die Geschäftskosten weiter erhöht.

Eine Zero-Shot-Prompting-Strategie ist oft die standardmäßige Prompt-Engineering-Strategie, wenn ein Modell mit einem neuen Problem betraut wird.¹ Dieses Beispiel zeigt, wie das Modell eine angemessene Inferenz ohne explizite Beispiele für Antworten generieren soll. Das Zero-Shot-Prompting-Szenario ahmt das menschliche Lernen bei der Anwendung von Vorwissen zur Lösung neuer Probleme nach.³

Das Modell erhält zwar keine Beispiel-Prompts, aber Details zum Ausführen der Aufgabe:¹

Anweisung: Zunächst lauten die Anweisungen für das Modell wie folgt: "Lege den Klassennamen für das beschriebene Problem fest ..."

Kontext: Als Nächstes enthält der Kontext für das Modell eine Beschreibung der Klassennamen.

Eingabedaten: Das Modell empfängt Eingabedaten, um die Klassifizierungsaufgabe mit dem Prompt „Problem: Benutzer berichten, dass sie keine Dateien hochladen können“ auszuführen.

Ausgabeindikator: Optional kann das Modell einen Ausgabeindikator empfangen, in diesem Fall den Text „Klasse:“, der das Modell darauf hinweist, dass es mit dem Klassennamen des Problems antworten soll. Ausgabeindikatoren geben dem Modell an, welche Art von Ausgabe für eine bestimmte Art von Antwort erzeugt werden soll.

Das angepasste Format dieser Eingabeaufforderung ist auf das jeweilige Klassifizierungsproblem abgestimmt. Andere Anwendungsfälle erfordern möglicherweise ein anderes Format für den Prompt und sie enthalten möglicherweise nicht dieselben Komponenten in Bezug auf Anweisung, Kontext, Eingabedaten und Ausgabeindikator.¹ Verschiedene Modelle können unterschiedliche Formate für einen Prompt erfordern. Befolgen Sie unbedingt alle Anweisungen zur Formatierung eines Prompts für ein bestimmtes Modell. In diesem Beispiel antwortet das Modell als Ergebnis des Vortrainings des Modells und dieses gut ausgearbeiteten Prompts mit den beschriebenen Komponenten mit einer passenden Ausgabe für diese Aufgabe.

Im Gegensatz zum Zero-Shot-Prompting liefert das Few-Shot-Prompting dem Modell Beispiele für erwartete Eingaben und Ausgaben für die Aufgabe.¹ Das voranstehende Bild veranschaulicht den Unterschied zwischen Zero-Shot-Prompting und Few-Shot-Prompting, wobei One-Shot-Prompting als Sonderfall ebenfalls dargestellt wird. 

Durch die Verwendung des gleichen IBM granite-3-8b-instruct-Modells werden Beispiele für „Probleme“ und die entsprechenden „Klassen“ für diese Aufgabe bereitgestellt.² Die drei Beispiele für Eingaben und Ausgaben veranschaulichen die Strategie des Few-Shot-Prompting. Als Antwort auf dieses Prompt trifft das Modell eine vernünftige Vorhersage der Klasse „Mittel“ (wie in Fettschrift hervorgehoben).

Hinweis: Das Prompt wurde mit IBM watsonx.ai Prompt Lab ausgeführt, indem der Modus „Freiform“ verwendet wurde.

Lege den Klassennamen für das beschriebene Problem entweder als Hoch, Mittel oder Niedrig fest. Ich habe einige Beispiele für Probleme und die entsprechenden Klassennamen bereitgestellt. Sage nur den Klassennamen für das letzte Problem voraus. Beschreibe kurz, warum dieser Klassenname gewählt wurde.

Klassenname: Hoch
Beschreibung: Ein Problem, das hohe Geschäftskosten verursacht, viele Benutzer betrifft oder beides.

Klassenname: Mittel
Beschreibung: Ein Problem, das irgendwo zwischen hoch und niedrig liegt.

Klassenname: Niedrig
Beschreibung: Ein Problem, das sich nur auf wenige Benutzer auswirkt, keine hohen Geschäftskosten verursacht oder beides.

Problem: Neue Benutzer berichten, dass sie keine Konten erstellen können.
Klasse: Hoch

Problem: Ein Benutzer meldet, dass sich Kennzeichnungen in der Analysefunktion der App überlappen.
Klasse: Niedrig

Problem: Benutzer in den USA berichten, dass die App abstürzt, wenn sie versuchen, einen Kauf zu tätigen.
Klasse: Hoch

Problem: Benutzer berichten, dass Bilder in der App nicht geladen werden.

Klasse: Mittel

Erklärung: Das Problem, dass Bilder in der App nicht geladen werden, beeinträchtigt die Erfahrung und kann zu Frustration führen, aber es verursacht keine hohen Geschäftskosten und betrifft auch nicht viele Benutzer. Daher wird es als mittelschweres Problem eingestuft.

Das Few-Shot-Prompting, eine Strategie, die vom Few-Shot-Learning-Paradigma abgeleitet ist, wird in der Regel verwendet, um die Leistung des Modells gegenüber dem Zero-Shot-Prompting für eine Aufgabe zu verbessern.¹ In diesem Beispiel erzeugt das KI-Modell nützliche Rückschlüsse sowohl im Zero-Shot- als auch im Few-Shot-Szenario. Bei der Entscheidung, ob Zero-Shot- oder Few-Shot-Prompting verwendet werden soll, sollte man die Grenzen des Problems und die nachgewiesene Leistung beider Strategien berücksichtigen. Reynolds und McDonell (2021) haben herausgefunden, dass bei Verbesserungen der Promptstruktur das Zero-Shot-Prompting in einigen Szenarien das Few-Shot-Prompting übertreffen kann.⁴ Schulhoff et al. (2024) erzielen unterschiedliche Ergebnisse, wenn sie die Leistung verschiedener Strategien vergleichen.⁵

Zero-Shot-Prompting ist aufgrund seiner Vorteile ein beliebter Ansatz.⁶ Forscher entwickeln weiterhin Techniken, um die Einschränkungen dieser Prompting-Technik zu überwinden.⁸

Vorteile

1. Einfachheit: Prompts sind einfach zu erstellen und leicht zu verstehen. Dieser Ansatz ermöglicht es Benutzern, ohne fundierte Kenntnisse des Prompt Engineering mit verschiedenen Prompts zu experimentieren. 
2. Benutzerfreundlichkeit: Zero-Shot-Prompting erfordert keine zusätzlichen Daten und ist daher in Fällen wertvoll, in denen relevante Daten schwer zu beschaffen oder knapp sind.
3. Flexibilität: Prompts lassen sich bei Bedarf leicht anpassen. Das Verbessern eines Prompts oder die Aktualisierung eines Prompts aufgrund sich ändernder Umstände erfordert nur einen geringen Aufwand.

Begrenzungen

1. Leistungsvariabilität: Zero-Shot-Prompting kann zwar effektiv sein, aber die Leistung kann je nach Komplexität und Spezifität der Aufgabe erheblich variieren. Modelle haben möglicherweise Schwierigkeiten mit Aufgaben, die tiefgreifendes Fachwissen, ein nuanciertes Verständnis oder hochspezifische Ausgaben erfordern, was im Vergleich zu aufgabenspezifischen, feinabgestimmten Modellen zu suboptimalen Ergebnissen führt.
2. Abhängigkeit von der Qualität des vortrainierten Modells: Der Erfolg von Zero-Shot Prompting hängt stark von der Qualität und dem Umfang des zuvor trainierten Sprachmodells ab. Wenn das Modell während des Vortrainings nicht ausreichend mit bestimmten Themen, Sprachen oder Kontexten in Berührung kommt, wird seine Zero-Shot-Leistung bei verwandten Aufgaben wahrscheinlich schlecht sein.

Fortschritte bei den Trainingsmethoden für LLMs haben die Modellausgabe für Zero-Shot-Prompting in verschiedenen Anwendungsfällen verbessert.⁷

Zero-Shot-Prompting stützt sich auf das vorab trainierte Wissen des Foundation Models und seine Flexibilität, sich an den angeforderten Prompt anzupassen und eine angemessene Antwort zu geben.¹

Die Verbesserung der Antworten im Zero-Shot-Szenario ist ein Schwerpunkt der Forscher.¹ Die Zero-Shot-Prompt-Antwortgenauigkeit wird häufig zum Vergleich der Modellleistung beim Testen neuer Modelltrainingsmethoden verwendet.⁷ Zwei Verbesserungen, die zu einer besseren Leistung beim Zero-Shot-Prompting geführt haben, sind das Anweisungstuning und Reinforcement Learning mit menschlichem Feedback (Reinforcement Learning with Human Feedback, RLHF).^8, 9

Beim Anweisungstuning wird ein Modell durch überwachtes Lernen auf einen Datensatz abgestimmt, der Anweisungen für verschiedene Aufgaben und Ergebnisse für diese Aufgaben enthält. Der Datensatz umfasst Aufgaben wie Textzusammenfassung, Konvertierung und Leseverständnis. Diese Strategie der Feinabstimmung mit einem Instruktionsdatensatz hat zu einer besseren Leistung beim Zero-Shot-Prompting bei neuen Aufgaben in diesen Kategorien geführt.⁸

Ein weiteres Beispiel für die Verwendung von Feinabstimmung zur Verbesserung der Ergebnisse beim Zero-Shot-Prompting ist die RLHF-Feinabstimmung, bei der Reinforcement Learning eine Richtlinie erlernt, die das Modell zu besseren Ausgaben führt. In diesem dreistufigen Prozess erfolgt zunächst die Feinabstimmung des Modells anhand eines Datensatzes, in dem ein Mensch die Zielantworten vorgegeben hat. Anschließend werden die Outputs des Modells auf mehrere Prompts projiziert, die von Menschen bewertet wurden. Schließlich werden die bewerteten Ausgaben verwendet, um ein Reinforcement-Learning-Modell zu trainieren, das eine Richtlinie lernt, um die besten Ausgaben basierend auf diesen von Menschen bereitgestellten Rankings auszuwählen.¹²

Der letzte Schritt nutzt die Fähigkeit des verstärkenden Lernens, die Konsequenzen (Belohnungen oder Bestrafungen) von Handlungen (Entscheidungen oder eingeschlagene Wege) zu nutzen, um eine Strategie (oder Richtlinie) zum Treffen guter Entscheidungen zu erlernen. In diesem Fall umfasst der Problemraum alle potenziellen Strategien, die bei der Auswahl einer guten Ausgabe als Antwort durch das Modell verwendet werden könnten.⁹

Im Vergleich zum traditionellen überwachten maschinellen Lernen für die Verarbeitung natürlicher Sprache (NLP) sind beim Zero-Shot-Prompting keine gelabelten Trainingsdaten erforderlich. Praktiker der künstlichen Intelligenz und Data Scientists können die generative KI-Technologie großer Sprachmodelle im Zero-Shot-Prompting-Szenario für verschiedene Anwendungsfälle nutzen, darunter:¹⁰

Klassifizierung von Text

Wie im vorherigen Beispiel gezeigt, das die Priorität von IT-Problemen mit dem granite-3-8b-instruct-Modell von IBM klassifiziert hat, kann das Modell eine Klassifizierung erreichen, ohne dass vorherige Beispiele zu den verschiedenen Klassen gehören. Diese Funktion ist ideal für Situationen, in denen nur begrenzte oder keine gekennzeichneten Trainingsdaten vorhanden sind. Dieses Tutorial zur Zero-Shot-Klassifizierung zeigt eine Implementierung dieses Anwendungsfalls.

Informationsextraktion

Bei einem gegebenen Text und einer Frage kann ein LLM die angeforderten Informationen entsprechend eines Prompts extrahieren.

Beantworten von Fragen

Mithilfe des vortrainierten Wissens eines Modells kann ein Benutzer eine Antwort auf eine Frage einholen.

Textzusammenfassung

Bei einem gegebenen Text und einer Anweisung zur Textzusammenfassung können große Sprachmodelle diese Aufgabe im Zero-Shot-Prompt-Szenario ausführen, ohne dass Beispielzusammenfassungen anderer Texte erforderlich sind.

Generierung

LLMs generieren Daten in Form von Text, Code, Bildern und mehr für bestimmte Anwendungsfälle.

Konversation

Typischerweise verwenden LLMs Modelle, die auf den Chat abgestimmt sind (z. B. die bekannte Chat-GPT-Serie), um mit einem Benutzer im Chat-Modus zu interagieren und viele der vorherigen Anwendungsfälle zu erfüllen.

Bei komplexen Anwendungsfällen wie mehrstufigen Denkaufgaben könnten sowohl Zero-Shot-Prompting als auch Few-Shot-Prompting keine angemessene Antwort anhand des Modells erzeugen. Fortgeschrittene Prompting-Techniken wie Gedankenketten und Gedankenbäume können in diesen Fällen erfolgreicher sein.

Gedankenkette: Das Chain-of-Thought (CoT)-Prompting ist eine Strategie, die dem Modell eine Aufgabe stellt, indem sie die größere Aufgabe als eine Reihe von unterschiedlichen Lösungsschritten spezifiziert. Diese Darstellung von Zwischenschritten verbessert die Fähigkeit des Modells, eine korrekte Antwort zu generieren. CoT ermöglicht auch eine bessere Transparenz in den Problemlösungsprozess durch die Erläuterung der Zwischenschritte. Diese Prompt-Engineering-Technik zeigt Erfolge in Bereichen wie der Verbesserung der Leistung des Chatbots für den Kundenservice, der Hilfe bei der Organisation der Gedanken von Forschern und Autoren und der Erstellung von Schritt-für-Schritt-Beschreibungen für Mathematik- und Naturwissenschaftsprobleme.¹¹

Gedankenbaum: Tree-of-thought (ToT)-Prompting erzeugt einen verzweigten Textbaum möglicher nächster Schritte und entsprechender möglicher Lösungen für das Problem. Diese Baumstruktur ermöglicht es dem Modell, mehrere Pfade zu erkunden und bei Bedarf zurückzukehren, wenn ein Pfad nicht zu einer akzeptablen Lösung führt. Sie wurde entwickelt, um sich an menschliche Strategien beim Vergleich möglicher Lösungswege anzunähern. Gängige Strategien zur Erkundung von Lösungen sind die Breitensuche (Bread-First Search, BFS) und die Tiefensuche (Depth-First Search, DFS) sowie die heuristische Suche und das Reinforcement-Learning. Forscher haben diese Anwendung verwendet, um Rätsel wie Sudoku und das Spiel 24 zu lösen.^12, 13