Prompt-Engineering-Techniken sind Strategien zum Entwerfen und Strukturieren von Prompts, Eingaben oder Anweisungen für KI-Modelle, insbesondere große Sprachmodelle (LLMs) wie GPT-4 von openAI, Google Gemini oder IBM® Granite. Diese Techniken zielen darauf ab, generative KI-Systeme so anzuleiten, dass sie genaue, relevante und kontextuell angemessene Antworten liefern, sodass Benutzer die gewünschten Ausgaben effektiv erzielen können.
Große Sprachmodelle, die auf fortschrittlichen Algorithmen für maschinelles Lernen basieren, sind in der Lage, menschenähnlichen Text zu verstehen und zu generieren. Prompt Engineering nutzt diese Funktionen, indem es Eingaben erstellt, die dem Modell helfen, komplexe Aufgaben, wie Zusammenfassung, Übersetzung, kreatives Schreiben oder Problemlösen, mit größerer Präzision auszuführen. Durch Experimentieren mit verschiedenen Promptstrukturen können Benutzer das Verhalten von LLMs beeinflussen, um ihre Leistung in verschiedenen Anwendungen zu optimieren.
Da die generative KI in verschiedenen Bereichen weiterhin eine Schlüsselrolle spielt, ist das Verständnis von Prompt Engineering unerlässlich geworden, um ihr volles Potenzial freizuschalten und KI-Modelle an spezifische Bedürfnisse effizient anzupassen.
Ein Prompt ist der Eingabetext oder die Abfrage, die einem KI-Modell, z. B. einem Large Language Model, zur Verfügung gestellt wird, um eine Antwort zu generieren. Es dient als primärer Mechanismus, um das Verhalten des Modells zu steuern, die Aufgabe zu definieren und den Kontext für die Interaktion festzulegen. Die Gestaltung eines Prompts wirkt sich erheblich auf die Qualität und Relevanz der Ausgabe aus, sodass es wichtig ist, die richtige Art von Prompt für bestimmte Aufgaben zu wählen.
Um die besten Ergebnisse mit KI-Modellen zu erzielen, ist es wichtig zu verstehen, wie Prompts auf verschiedene Weise strukturiert werden können, um verschiedenen Aufgaben und Zielen gerecht zu werden. Es gibt im Grunde drei Möglichkeiten, den Prompt zu strukturieren: direkte Anweisungen, offene Anweisungen und aufgabenspezifische Anweisungen.
Direkte Anweisungen sind klare und spezifische Befehle, die der KI genau sagen, was sie tun soll. Diese Prompts sind ideal für einfache Aufgaben, bei denen der Benutzer eine klare Erwartung an die Ausgabe hat. Direkte Prompts beruhen auf der Fähigkeit des Modells, explizite Anweisungen zu analysieren und Antworten zu generieren, die eng mit dem Befehl übereinstimmen. Je detaillierter die Anweisung ist, desto wahrscheinlicher ist es, dass das Ergebnis den Erwartungen entspricht.
Beispiel:
In diesem Fall kennt die KI das genaue Format [ein Gedicht] und das Thema [Natur], um den Text zu generieren.
Offene Anweisungen sind weniger restriktiv und ermutigen die KI, umfassendere Ideen zu erkunden oder kreative und interpretative Antworten zu geben. Diese Prompts sind nützlich für Brainstorming, Storytelling oder exploratorische Diskussionen, bei denen der Benutzer Wert auf Vielfalt und Originalität in der Ausgabe legt. Offene Prompts nutzen die generativen Funktionen des Modells, ohne Einschränkungen aufzuerlegen. Das Modell stützt sich auf seine Trainingsdaten, um die beste Herangehensweise an das Prompt abzuleiten, was zu unterschiedlichen oder unerwarteten Ergebnissen führen kann.
Beispiel:
Hier hat die KI die Freiheit zu entscheiden, welche Aspekte des Universums diskutiert werden sollen, z. B. seinen Ursprung, seine Struktur oder wissenschaftliche Theorien.
Aufgabenspezifische Anweisungen sind für präzise, zielorientierte Aufgaben wie Übersetzungen, Zusammenfassungen oder Berechnungen konzipiert. Diese Prompts sind oft klar formuliert und können zusätzlichen Kontext oder Beispiele enthalten, um genaue Antworten zu gewährleisten. Aufgabenspezifische Prompts nutzen das Verständnis des Modells für spezielle Aufgaben. Sie können fortgeschrittene Prompting-Techniken wie Few-Shot-Prompting (mit Beispielen) oder Zero-Shot-Prompting (ohne Beispiele, sondern auf das vortrainierte Wissen des Modells gestützt) beinhalten.
Beispiel:
Das Modell versteht sowohl die Sprachübersetzungsaufgabe als auch den spezifischen Eingabetext und kann so die gewünschte Ausgabe erzeugen: „Bonjour“.
Wenn Benutzer diese Art von Prompts und die technischen Nuancen dahinter verstehen, können sie Prompts erstellen, die KI-Modelle effektiv anleiten und so die Qualität und Relevanz der Antworten optimieren.
Think Newsletter
Bleiben Sie mit dem Think-Newsletter über die neuesten Branchennachrichten, KI-Tools und aufkommende Trends im Bereich Prompt Engineering auf dem Laufenden. Außerdem erhalten Sie Zugang zu neuen Erläuterungen, Tutorials und Experteneinblicken – direkt in Ihrem Posteingang. Weitere Informationen finden Sie in der IBM Datenschutzerklärung.
Um die Effektivität von KI-Modellen zu maximieren, wird beim Prompt Engineering eine Vielzahl von Techniken eingesetzt, die auf unterschiedliche Aufgaben und Ziele zugeschnitten sind. Im Folgenden werden einige wichtige Techniken beschrieben, die jeweils anhand von Beispielen für Prompts erläutert werden, mit denen bestimmte Ergebnisse erzielt werden sollen.
Um die Effektivität verschiedener Prompt Engineering-Techniken zu demonstrieren, lassen Sie uns einen einzelnen Anwendungsfall als zentrales Beispiel betrachten: die Erklärung des Klimawandels. Die Aufgabe ist wie folgt formuliert:
Jede Technik geht die Aufgabe anders an und bietet ein unterschiedliches Maß an Anleitung, Komplexität und Methodik. Im Folgenden erkunden wir, wie diese Techniken auf diesen Anwendungsfall angewendet werden können, mit zugeschnittenen Prompts, die ihre einzigartigen Funktionen hervorheben.
Beim Zero-Shot-Prompting wird das Modell aufgefordert, eine Aufgabe auszuführen, ohne zuvor Beispiele oder Anleitungen anzugeben. Es verlässt sich bei der Interpretation und Beantwortung des Prompts vollständig auf das vortrainierte Wissen der KI.[1]
Beispiel-Prompt:
Das Modell erhält keine vorherigen Beispiele oder zusätzlichen Kontext und muss sich ausschließlich auf sein vortrainiertes Wissen verlassen, um die Ausgabe zu generieren.
Few-Shot-Prompting enthält eine kleine Anzahl von Beispielen innerhalb des Prompts, um dem Modell die Aufgabe zu demonstrieren. Dieser Ansatz hilft dem Modell, den Kontext und die erwartete Ausgabe besser zu verstehen.[2]
Beispiel-Prompt:
Anhand einiger Beispiele für die Erklärung anderer Themen wird das Modell auf den Ton und den Grad der Einfachheit abgestimmt, der für die Erklärung des Klimawandels erwartet wird.
Das CoT-Prompting ermutigt das Modell, ein Problem Schritt für Schritt durchzudenken und es in kleinere Komponenten zu zerlegen, um zu einer logischen Schlussfolgerung zu gelangen.[3]
Beispiel-Prompt:
Das Modell wird ermutigt, Schritt für Schritt zu denken und die Erklärung zur Klarheit in kleinere, logische Teile zu zerlegen.
Beim Metaprompting wird das Modell aufgefordert, seine eigenen Prompts zu generieren oder zu verfeinern, um die Aufgabe besser zu erledigen. Diese Technik kann die Ausgabequalität verbessern, indem sie die Fähigkeit des Modells zur Selbststeuerung nutzt.[4]
Beispiel-Prompt:
Das Modell generiert seinen eigenen Prompt, bevor es versucht, das Thema zu erklären. Dadurch können die Relevanz und Qualität der Ausgabe verbessert werden.
Bei der Selbstkonsistenz werden mehrere unabhängige Generationen des Modells verwendet, um die kohärenteste oder genaueste Antwort zu identifizieren. Es ist besonders nützlich für Aufgaben, die logisches Denken oder Interpretation erfordern.[5]
Beispiel-Prompt:
Das Modell erzeugt mehrere unabhängige Antworten und wählt die konsistenteste oder kohärenteste als endgültige Ausgabe aus.
Bei dieser Technik wird das Modell gebeten, Hintergrundwissen zu generieren, bevor es sich der Hauptaufgabe zuwendet, um seine Fähigkeit zu verbessern, fundierte und genaue Antworten zu geben.[6]
Beispiel-Prompt:
Das Modell generiert zunächst Hintergrundwissen (z. B. Treibhausgase, Erderwärmung), um eine fundiertere Erklärung abzugeben.
Bei der Promptverkettung werden mehrere Prompts miteinander verknüpft, wobei die Ausgabe des einen Prompts als Eingabe für das nächste dient. Diese Technik ist ideal für mehrstufige Prozesse.
Beispiel-Prompt:
Nächstes Prompt basierend auf der vorherigen Antwort:
Nächstes Prompt basierend auf der vorherigen Antwort:
Die Aufgabe wird in eine Kette von Prompts unterteilt, wobei die Ausgabe jedes Schritts in den nächsten einfließt, um eine strukturiertere Erklärung zu liefern.
Tree-of-Thoughts-Prompting ermutigt das Modell, mehrere Argumentationszweige oder Ideen zu erkunden, bevor es zu einem endgültigen Ergebnis kommt.[7][8]
Beispiel-Prompt:
Das Modell untersucht mehrere Erklärungsansätze und wählt den effektivsten aus, um ein ausgewogenes Ergebnis zu erzielen.
Retrieval Augmented Generation (RAG) kombiniert externe Informationsabfrage mit generativer KI, um Antworten zu erzeugen, die auf aktuellem oder domänenspezifischem Wissen basieren.[9]
Beispiel-Prompt:
Das Modell kombiniert seine generativen Fähigkeiten mit externem Wissen, um eine fundierte Erklärung zu erstellen.
Diese Technik integriert Schlussfolgerungsfähigkeiten mit externen Tools oder Programmierschnittstellen (APIs), sodass das Modell Ressourcen wie Rechner oder Suchmaschinen verwenden kann.[10]
Beispiel-Prompt:
Das Modell integriert die Argumentation mit externen Tools (z. B. Rechner oder APIs), um Daten zu analysieren und eine datengesteuerte Erklärung bereitzustellen.
Bei dieser Methode wird die KI selbst verwendet, um Eingabeaufforderungen für bestimmte Aufgaben zu generieren und zu optimieren und den Prozess der Erstellung effektiver Anweisungen zu automatisieren.
Beispiel-Prompt:
Das Modell automatisiert die Erstellung eines optimierten Prompts, um die Qualität der Antwort zu verbessern.
Das aktive Prompting passt das Prompt dynamisch auf der Grundlage von Zwischenausgaben des Modells an und verfeinert die Eingabe, um bessere Ergebnisse zu erzielen.[11]
Anfängliches Prompt
Follow-up-Prompt
Das Prompt entwickelt sich dynamisch auf der Grundlage der Zwischenausgabe weiter und verfeinert die Antwort im Laufe der Iterationen.
Directional Stimulus Prompting (DSP) verwendet direktionale Hinweise, um das Modell in Richtung einer bestimmten Art von Reaktion oder Perspektive zu steuern.[12]
Beispiel-Prompt:
Das Modell wird in Richtung einer bestimmten Perspektive oder eines bestimmten Tons gedrängt, was den Rahmen seiner Erklärung beeinflusst.
PALM integriert Programmierfunktionen, um die Argumentations- und Rechenfähigkeiten des Modells zu erweitern.[13]
Beispiel-Prompt:
Das Modell kombiniert Programmierung mit Sprachgenerierung, um sowohl eine Visualisierung als auch eine Erklärung zu liefern.
ReAct kombiniert Schlussfolgerungs- und Handlungs-Prompts und ermutigt das Modell, kritisch zu denken und auf der Grundlage seiner Schlussfolgerungen zu handeln.[14]
Beispiel-Prompt:
Dieses Beispiel zeigt, wie das Modell analytische Überlegungen mit umsetzbaren Erkenntnissen kombinieren kann.
Durch Reflexion kann das Modell seine vorherigen Ergebnisse auswerten und sie verfeinern, um die Genauigkeit oder Kohärenz zu verbessern.[15]
Beispiel-Prompt:
Das Modell reflektiert seine vorherige Ausgabe und verbessert sie iterativ.
Diese Technik integriert die Denkkette über mehrere Modalitäten hinweg, wie z. B. Text, Bilder oder Audio.[16]
Beispiel-Prompt:
Das Modell integriert die Argumentation über mehrere Modalitäten hinweg (Text und Bilder), um eine umfassende Erklärung zu liefern.
Beim Graphenprompting werden graphenbasierte Strukturen genutzt, um komplexe Beziehungen zwischen Konzepten oder Datenpunkten zu organisieren und zu durchdenken.
Beispiel-Prompt:
Das Modell verwendet graphenbasiertes Denken, um Datenpunkte zu verbinden und eine aufschlussreiche Erklärung zu generieren.
So können wir sehen, wie verschiedene Prompt-Engineering-Techniken auf eine einzelne Aufgabe angewendet werden können. Indem wir dieselbe Aufgabe für verschiedene Methoden wie Zero-Shot, Few-Shot, Gedankenkette und Gedankenbaum verwenden, können wir sehen, wie jede Technik die Aufgabe unterschiedlich strukturiert und die KI dazu anleitet, einzigartige Antworten zu erzeugen. Diese Beispiele zeigen die Flexibilität und Kreativität von Prompt Engineering bei der Lösung einer Vielzahl von Herausforderungen. Die Leser werden ermutigt, diese Prompt-Beispiele mit verschiedenen KI-Modellen oder -Anwendungen auszuprobieren, z. B. IBM Granite-Modelle, ChatGPT von OpenAI, Bard von Google, Claude von Anthropic, Cohere oder Jurassic von AI21 Labs. Auf diese Weise können die Benutzer sehen, wie die Ausgaben variieren, und herausfinden, was für ihre Bedürfnisse am besten geeignet ist.
Prompt-Engineering-Techniken sind zwar leistungsstark, bringen aber einige Herausforderungen mit sich. Es kann schwierig sein, effektive Prompts zu erstellen, die stets präzise Ausgaben liefern, insbesondere für Aufgaben, die komplexe Argumente, einen gesunden Menschenverstand oder nuancierte Antworten erfordern. Halluzination ist ein weiteres häufiges Problem, bei dem generative KI-Modelle Informationen generieren, die ungenau oder vollständig erfunden sind. Der Rückgriff auf strukturierte Vorlagen oder eine Feinabstimmung des Modells kann dazu beitragen, einige dieser Probleme zu entschärfen, aber das Entwerfen von Prompts, die in verschiedenen Szenarien funktionieren, bleibt ein Trial-and-Error-Prozess. Außerdem kann es schwierig sein, ein Gleichgewicht zwischen den allgemeinen Funktionen der künstlichen Intelligenz und aufgabenspezifischen Zielen herzustellen, insbesondere bei speziellen oder domänenspezifischen Aufgaben.
Prompt-Engineering-Techniken finden ein breites Spektrum von Anwendungen in verschiedenen Bereichen. Bei Chatbots helfen sie dabei, generierte Antworten zu verfeinern, um die Interaktion der Benutzer in Echtzeit zu verbessern. Für Entwickler können Prompt bei der Generierung von Codeschnipseln oder bei der Erstellung von Schritt-für-Schritt-Tutorials für Programmierkonzepte helfen. Im Bildungswesen können sie Erklärungen vereinfachen oder ein mathematisches Problem mit detaillierten Argumenten lösen. Unternehmen nutzen Prompt Engineering für die Entscheidungsfindung, indem sie aufschlussreiche KI-Outputs generieren, die auf bestimmte Szenarien zugeschnitten sind. Im großen Maßstab werden diese Techniken bei der Erstellung von Inhalten, im Kundensupport und in automatisierten Workflows eingesetzt, wodurch KI-Systeme effizienter und anpassungsfähiger an verschiedene Aufgaben werden.
Die Zukunft der Prompt-Engineering-Techniken liegt in der Weiterentwicklung der Verarbeitung natürlicher Sprache, um genauere und relevantere Antworten in verschiedenen Anwendungen zu gewährleisten. Wenn sich KI-Modelle weiterentwickeln, wird sich ihre Argumentationsfähigkeit verbessern, sodass sie komplexere Aufgaben mit minimalem Prompting erledigen können. Wir können auch die Entwicklung intelligenterer Tools und Frameworks erwarten, um die Erstellung von Prompts zu automatisieren und zu optimieren und die Interaktion mit KI für Benutzer in verschiedenen Bereichen intuitiver, effizienter und personalisierter zu gestalten.
Prompt-Engineering-Techniken sind unerlässlich für die Optimierung von KI-Interaktionen und das Freischalten des vollen Potenzials großer Sprachmodelle. Durch die Verwendung strukturierter Ansätze wie Zero-Shot, Few-Shot, Gedankenkette und Gedankenbaum ermöglicht diese Technik der KI, ein breites Spektrum an Aufgaben zu bewältigen, von Chatbots bis hin zur Entscheidungsfindung und Bildung. Trotz der Herausforderungen wie Halluzinationen und der Entwicklung effektiver Prompts werden die Anwendungen des Prompt Engineering in allen Bereichen immer häufiger eingesetzt und liefern intelligentere, maßgeschneiderte KI-Ergebnisse. Angesichts der Fortschritte bei der Verarbeitung natürlicher Sprache und den Fähigkeiten zum logischen Denken verspricht die Zukunft des Prompt Engineering noch mehr Effizienz und Anpassungsfähigkeit. Die Leser werden ermutigt, mit diesen Techniken in verschiedenen KI-Modellen zu experimentieren, um ihre Funktionen zu erkunden und ihre Ergebnisse zu verfeinern.
[1] Wei, J., Bosma, M., Zhao, V.Y., Guu, K., Yu, A.W., Lester, B., Du, N., Dai, A.M. und Le, Q.V., 2021. Finetuned language models are zero-shot learners. arXiv preprint arXiv:2109.01652.
[2] Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M.A., Lacroix, T., Rozière, B., Goyal, N., Hambro, E., Azhar, F. und Rodriguez, A., 2023. Llama: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971.
[3] Wei, J., Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., Le, QV und Zhou, D., 2022. Chain-of-thought prompting elicits reasoning in large language models. Advances in neural information processing systems, 35, S. 24824–24837.
[4] Zhang, Y., Yuan, Y. und Yao, A.C.C., 2023. Meta prompting for ai systems. arXiv preprint arXiv:2311.11482.
[5] Wang, X., Wei, J., Schuurmans, D., Le, Q., Chi, E., Narang, S., Chowdhery, A. und Zhou, D., 2022. Self-consistency improves chain of thought reasoning in language models. arXiv preprint arXiv:2203.11171.
[6] Liu, J., Liu, A., Lu, X., Welleck, S., West, P., Bras, RL, Choi, Y. und Hajishirzi, H., 2021. Generated knowledge prompting for commonsense reasoning. arXiv preprint arXiv:2110.08387.
[7] Yao, S., Yu, D., Zhao, J., Shafran, I., Griffiths, T., Cao, Y. und Narasimhan, K., 2023. Tree of thoughts: Deliberate problem solving with large language models. Advances in neural information processing systems, 36, S. 11809–11822.
[8] Long, J., 2023. Large language model guided tree-of-thought. arXiv preprint arXiv:2305.08291.
[9] Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W.T., Rocktäschel, T. und Riedel, S., 2020. Retrieval-augmented generation for knowledge-intensive nlp tasks. Advances in neural information processing systems, 33, S. 9459–9474.
[10] Paranjape, B., Lundberg, S., Singh, S., Hajishirzi, H., Zettlemoyer, L. und Ribeiro, M.T., 2023. Art: Automatic multi-step reasoning and tool-use for large language models. arXiv preprint arXiv:2303.09014.
[11] Diao, S., Wang, P., Lin, Y., Pan, R., Liu, X. und Zhang, T., 2023. Active prompting with chain-of-thought for large language models. arXiv preprint arXiv:2302.12246.
[12] Li, Z., Peng, B., He, P., Galley, M., Gao, J. und Yan, X., 2023. Guiding large language models via directional stimulus prompting. Advances in Neural Information Processing Systems, 36, S. 62630–62656
[13] Gao, L., Madaan, A., Zhou, S., Alon, U., Liu, P., Yang, Y., Callan, J. and Neubig, G., 2022. Pal: program-aided language models. arXiv. arXiv preprint arXiv:2211.10435.
[14] Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K. und Cao, Y., 2023, Januar. React: Synergizing reasoning and acting in language models. In International Conference on Learning Representations (ICLR).
[15] Shinn, N., Cassano, F., Gopinath, A., Narasimhan, K. und Yao, S., 2023. Reflexion: Language agents with verbal reinforcement learning. Advances in Neural Information Processing Systems, 36, S. 8634–8652.
[16] Zhang, Z., Zhang, A., Li, M., Zhao, H., Karypis, G. und Smola, A., 2023. Multimodal chain-of-thought reasoning in language models. arXiv preprint arXiv:2302.00923.
[17] Liu, Z., Yu, X., Fang, Y. und Zhang, X., 2023, April. Graphprompt: Unifying pre-training and downstream tasks for graph neural networks. In Proceedings of the ACM web conference 2023 (S. 417–428).