Was ist Few-Shot-Prompting?

Few-Shot-Prompting bezieht sich auf den Prozess, bei dem einem KI-Modell einige Beispiele für eine Aufgabe zur Verfügung gestellt werden, um seine Leistung zu steuern. Diese Methode ist besonders nützlich in Szenarien, in denen keine umfangreichen Trainingsdaten verfügbar sind.

Bei anderen Techniken wie dem Zero-Shot-Prompting, das keine Beispiele erfordert, oder dem One-Shot-Prompting, das sich auf ein einziges Beispiel stützt, verwendet das Few-Shot-Prompting mehrere Beispiele, um die Genauigkeit und Anpassungsfähigkeit zu verbessern. Darüber hinaus verwenden andere fortschrittliche Prompt-Engineering-Frameworks wie Chain-of-Thought-Prompting und Tree-of Thought-Prompting ebenfalls Beispiele, um die gewünschte Ausgabe zu erhalten und die Ausgabe des Modells zu optimieren.

Few-Shot-Learning ist in Situationen, in denen generative KI eingesetzt werden kann und in denen die Erfassung großer Mengen an gekennzeichneten Daten eine Herausforderung darstellt, von entscheidender Bedeutung. Prompting-Methoden wandeln Texteingaben in ein strukturiertes Format um, sodass Modelle wie die IBM Granite Series, die Llama-Modelle von Meta und GPT-3 und GPT-4 von OpenAI die Lücken mit entsprechenden Antworten ausfüllen und Aufgaben effektiv ohne umfangreiche gekennzeichnete Datensätze ausführen können. [1] Diese Technik unterstützt auch das Abrufen des vordefinierten Ausgabeformats, indem das Modell durch spezifische Beispiele geführt wird, um Konsistenz und Genauigkeit in der gewünschten Struktur zu gewährleisten.

In dem sich schnell entwickelnden Bereich der künstlichen Intelligenz (KI), des maschinellen Lernens (ML) und der Verarbeitung natürlicher Sprache (NLP) hat sich das Few-Shot-Prompting als leistungsstarke Technik erwiesen. Diese Methode ermöglicht es Modellen, Aufgaben mit begrenzten Beispielen auszuführen, und unterscheidet sich damit von anderen Prompting-Methoden wie Zero-Shot- und One-Shot-Prompting. Das Verständnis des Few-Shot-Prompting ist entscheidend, um das volle Potenzial fortschrittlicher KI-Systeme wie GPT-3/GPT-4 von OpenAI und anderer großer Sprachmodelle (LLMs) wie IBM Granite-Modelle oder Metas Llama-Modelle auszuschöpfen.

Abbildung 1 veranschaulicht einen Few-Shot-Lernprozess zur Stimmungsklassifizierung mithilfe eines großen Sprachmodells. Die Prompt enthält Textbeispiele, die als „positiv“ oder „negativ“ gekennzeichnet sind. Nachdem das Modell diese gekennzeichneten Beispiele gesehen hat, hat es die Aufgabe, einen neuen Textabschnitt („Dieses Produkt ist sehr kostengünstig“) als „positiv“ zu klassifizieren. Dies zeigt, wie das Few-Shot-Lernen es dem Modell ermöglicht, aus einer kleinen Anzahl von Beispielen zu verallgemeinern, um eine bestimmte Aufgabe auszuführen.

Few-Shot-Prompting funktioniert, indem dem Modell mehrere Beispiele für die gewünschte Aufgabe innerhalb des Prompts präsentiert werden. Diese Technik nutzt das vorab trainierte Wissen großer Sprachmodelle (LLMs), um spezifische Aufgaben effizient auszuführen, selbst mit begrenzten Daten.

Benutzeranfrage: Der Prozess beginnt mit einer Benutzeranfrage, wie z. B. „Dieses Produkt ist sehr kostengünstig“.

Vektorspeicher: Alle Beispiele werden in einem Vektorspeicher gespeichert, einer für die semantische Suche optimierten Datenbank. Wenn eine Benutzeranfrage eingeht, führt das System einen semantischen Abgleich durch, um die relevantesten Beispiele aus dem Vektorspeicher zu finden.

Abrufen relevanter Beispiele: Es werden nur die relevantesten Beispiele abgerufen und zur Bildung des Prompts verwendet. In diesem Beispiel wird Retrieval-Augmented Generation (RAG) verwendet, um die Beispiele aus einem Vektorspeicher abzurufen, was dabei hilft, den Prompt an die spezifische Abfrage anzupassen. RAG ist zwar nicht überall für das Few-Shot-Prompting erforderlich, kann aber den Prozess erheblich verbessern, indem es sicherstellt, dass die kontextuell relevantesten Beispiele verwendet werden, und so die Leistung des Modells in bestimmten Szenarien verbessert.

Prompt-Formation: Die Prompt wird mit den abgerufenen Beispielen und der Benutzerabfrage erstellt. Zum Beispiel könnte der Prompt so aussehen:

LLM-Verarbeitung: Die konstruierte Eingabeaufforderung wird dann in das LLM eingespeist. Das Modell verarbeitet die Eingabeaufforderung und generiert eine Ausgabe, in diesem Fall die Stimmung der Benutzeranfrage.

Ausgabe: Das LLM gibt die Klassifizierung aus, beispielsweise „negativ“ für das gegebene Beispiel.

Untersuchungen haben die Wirksamkeit eines Ansatzes des „Few-Shot-Learning“ hervorgehoben, der die Abhängigkeit von umfangreichem Prompt Engineering reduziert. Im Gegensatz zur traditionellen Feinabstimmung, bei der die Modellparameter anhand eines großen Datensatzes vor dem Prompting angepasst werden, bezieht sich die Feinabstimmung in der Few-Shot-Einstellung auf den Prozess der Anpassung der vortrainierten Modelle mit nur wenigen Beispielen direkt im Prompt. Dieser Ansatz ermöglicht es dem Modell, sein bereits vorhandenes Wissen effektiver zu nutzen, ohne dass zusätzliches Training an großen Datensätzen erforderlich ist.^[2] Diese Studie hat gezeigt, dass das Modell selbst bei Verwendung von „Null-Prompts“ – also Prompts, die keine aufgabenspezifischen Vorlagen oder gekennzeichneten Beispiele enthalten – bei verschiedenen Aufgaben eine wettbewerbsfähige Genauigkeit erzielen konnte. Ein Null-Prompt könnte zum Beispiel einfach eine Frage stellen wie „Wie ist die Stimmung des folgenden Textes?“ ohne konkrete Beispiele oder Anweisungen zur Klassifizierung der Stimmung zu geben. Trotz dieser fehlenden Struktur kann das Modell eine gute Leistung erbringen, was die Robustheit des Few-Shot-Learnings zeigt.

Insgesamt legt die Studie nahe, dass das Few-Shot-Learning eine äußerst effektive Strategie ist, insbesondere wenn strukturierte Prompt verwendet werden. Während Null-Prompts zu guten Ergebnissen führen können, kann das Hinzufügen einiger gut ausgewählter Beispiele die Leistung des Modells weiter verbessern und es zu einem vielseitigen und effizienten Ansatz machen, insbesondere in Szenarien mit begrenzten gekennzeichneten Daten. ^[1]

Few-Shot-Prompting ist eine leistungsstarke Technik in der Verarbeitung natürlicher Sprache (NLP), die es Modellen ermöglicht, Aufgaben mit minimalen Beispielen auszuführen. Dieser Ansatz hat mehrere Vorteile und Einschränkungen, die seine Effektivität und Anwendbarkeit beeinflussen.

Vorteile

1. Effizienz und Flexibilität: Few-Shot-Prompting reduziert die Menge der für das Training erforderlichen gelabelten Daten erheblich und macht es hocheffizient und anpassungsfähig an neue Aufgaben. Durch die Nutzung großer, vortrainierter Sprachmodelle kann das Few-Shot-Prompting selbst bei begrenzten Daten eine wettbewerbsfähige Leistung erzielen. In der im Folgenden zitierten Studie haben die Autoren beispielsweise gezeigt, dass die Feinabstimmung von Sprachmodellen in einer Few-Shot-Umgebung den Bedarf an umfangreichem Prompt-Engineering reduziert und in einem breiten Spektrum von Aufgaben eine hohe Genauigkeit erreichen kann.^[2]
2. Verbesserte Leistung in verschiedenen Anwendungen: Few-Shot-Prompting hat in verschiedenen Anwendungen erhebliche Verbesserungen gezeigt, von der Textklassifizierung bis zur maschinellen Übersetzung und darüber hinaus. Zum Beispiel schlugen die Autoren der folgenden zitierten Studie TransPrompt vor, ein übertragbares Prompt-Framework, das aufgabenübergreifendes Wissen erfasst und so die Leistung bei Textklassifizierungsaufgaben mit wenigen Shots deutlich verbessert.^[3]
3. Robustheit gegenüber verschiedenen Prompts: Die Robustheit des Few-Shot-Prompting gegenüber verschiedenen Promptformulierungen ist ein weiterer entscheidender Vorteil. Unified Prompt Tuning (UPT), wie von Feihu Jin et al. beschrieben, reichert Prompts sowohl mit aufgabenspezifischen als auch mit instanzabhängigen Informationen an und erzielt so deutliche Verbesserungen in der Leistung bei verschiedenen NLP-Aufgaben.^[4]
4. Geringerer Rechenaufwand: Jüngste Fortschritte haben das Few-Shot-Prompting effizienter gemacht. Zum Beispiel stellten Lewis Tunstall et al. SetFit vor, ein effizientes Framework für die Few-Shot-Feinabstimmung von Sentence-Transformern, das im Vergleich zu bestehenden Methoden eine hohe Genauigkeit mit deutlich weniger Parametern und reduzierter Trainingszeit erreicht.^[5]

Begrenzungen

1. Abhängigkeit von der Qualität des Prompts: Die Qualität und das Design der Prompts beeinflussen die Leistung des Few-Shot-Prompting erheblich. Die Erstellung effektiver Prompts erfordert oft sorgfältige Entwicklung und Fachwissen. Der Autor Timo Schick und seine Kollegen wiesen auf die Leistungsschwankungen aufgrund der Qualität der Prompts hin und betonten die Notwendigkeit einer intelligenten Handhabung mehrerer Prompts, um zuverlässige Ergebnisse zu erzielen.^[6]
2. Rechenkomplexität: Große Sprachmodelle, die beim Few-Shot-Prompting verwendet werden, erfordern erhebliche Rechenressourcen. Dies kann für viele Unternehmen ein Hindernis darstellen, da die Zugänglichkeit dieser Modelle eingeschränkt wird. Morteza Bahrami et al. stellten fest, dass Modelle mit einer großen Anzahl von Parametern leistungsstarke Hardware erfordern, was eine breite Akzeptanz erschweren kann.^[1]
3. Herausforderung der Generalisierung: Die Generalisierung von Prompts über verschiedene Aufgaben und Datensätze hinweg bleibt eine große Herausforderung. Während Few-Shot-Prompting bei bestimmten Aufgaben gut funktionieren kann, sind fortgeschrittene Techniken erforderlich, um eine konsistente Leistung über verschiedene Anwendungen hinweg sicherzustellen. Die Studie von Feihu Jin und anderen Autoren adressierte beispielsweise dieses Problem beim numerischen Denken, indem sie große Mengen an Trainingsdaten nutzte, um die Generalisierung beim Prompt-basierten Lernen zu verbessern.^[4]
4. Eingeschränkte Zero-Shot-Funktionen: Während Few-Shot-Prompting mit minimalen Beispielen hervorragende Ergebnisse erzielt, kann seine Leistung in Zero-Shot-Umgebungen weniger zuverlässig sein. In der Studie über die Fortschritte bei NER wurde QaNER eingeführt, eine Prompt-basierte Methode zur Named Entity Recognition, die die Einschränkungen von Zero-Shot-Fähigkeiten durch Verbesserung der Prompt-Robustheit angeht.^[7]

Daher bietet das Few-Shot-Prompting erhebliche Vorteile in Bezug auf Effizienz, Flexibilität und Leistung in verschiedenen Anwendungen. Die Abhängigkeit von der Qualität der Prompts, die Komplexität der Berechnungen, die Herausforderungen bei der Generalisierung und die begrenzten Zero-Shot-Fähigkeiten zeigen jedoch, in welchen Bereichen weitere Fortschritte erforderlich sind, um das Potenzial zu maximieren.

Few-Shot-Prompting hat sich als vielseitiges und leistungsstarkes Werkzeug mit einer Reihe von Beispielen in verschiedenen Anwendungen erwiesen, das die Stärken großer Sprachmodelle nutzt, um komplexe Aufgaben mit begrenzten Beispielen auszuführen. Er ist bei kreativen Anwendungsfällen für generative KI wie die Erstellung von Inhalten oder kontextbezogenes Lernen sehr beliebt. Hier sind einige bemerkenswerte Anwendungsfälle im Detail erklärt:

Stimmungsanalyse
Few-Shot-Prompting ist besonders bei der Stimmungsanalyse nützlich, bei der Modelle die Stimmung eines Textes mit begrenzten gekennzeichneten Daten klassifizieren. Die Integration von Few-Shot-Prompting mit semantischem Abgleich, wie in Abbildung 2 dargestellt, ist ein Beispiel dafür. Sie ermöglicht es Modellen, Stimmungen auf der Grundlage relevanter Beispiele aus einem Vektorspeicher genau zu klassifizieren.^[1]

Aktionserkennung in Videos
Few-Shot-Prompting wurde auch auf die Aktionserkennung in Videos angewendet. Yuheng Shi et al. stellten Knowledge Prompting vor, das Allgemeinwissen aus externen Ressourcen nutzt, um Prompts für Visions-Sprachmodelle zu erstellen. Diese Methode klassifiziert effektiv Aktionen in Videos mit minimaler Aufsicht, wodurch eine Leistung auf dem neuesten Stand der Technik erreicht und gleichzeitig der Trainingsaufwand erheblich reduziert wird.^[8]

Grounded Dialog Generation
Bei der Grounded Dialog Generation oder bei Chatbots stärkt das Few-Shot-Prompting die Dialogmodelle durch die Integration externer Informationsquellen. Diese Studie hat gezeigt, dass Few-Shot-Prompting-Methoden die Leistung von Dialogmodellen erheblich verbessern und sie kohärenter und kontextbezogener machen können.^[9]

Named Entity Recognition (NER)
Few-Shot-Prompting kann Named Entity Recognition verbessern, indem Beispiele bereitgestellt werden, die dem Modell helfen, Entitäten innerhalb des Textes zu erkennen und zu klassifizieren. Der Autor der im Folgenden zitierten Studie hat eine entitätsbewusste, auf Eingabeaufforderungen basierende Few-Shot-Learning-Methode für Frage-Antwort-Aufgaben entwickelt, die für NER-Aufgaben angepasst werden kann, wodurch die Modellleistung erheblich verbessert wird.^[10]

Codegenerierungs-Aufgaben
Das Few-Shot-Prompting gilt auch für codebezogene Aufgaben wie die Generierung von Testaussagen und die Programmreparatur. In ihrer Studie entwickelten Noor Nashid et al. eine Technik, die automatisch Codedemonstrationen abruft, um effektive Prompts zu erstellen, was eine erhebliche Verbesserung der Aufgabengenauigkeit zeigte.^[11]

Diese Anwendungsfälle zeigen die weitreichende Anwendbarkeit und Effektivität des Few-Shot-Prompting in verschiedenen Bereichen und Aufgaben, und zeigen sein Potenzial, Innovation und Effizienz in KI- und NLP-Anwendungen zu steigern.

Few-Shot-Prompting stellt einen bedeutenden Fortschritt in KI und NLP dar und bietet Effizienz, Flexibilität und verbesserte Leistung mit begrenzten Beispielen. Während sich die Technologie weiterentwickelt, wird sie in verschiedenen Anwendungen eine entscheidende Rolle spielen und Innovation und Effizienz in verschiedenen Bereichen vorantreiben.