Sie können eine generative KI-Aufgabe erstellen, um generative KI-Logik in Ihren Serviceablauf zu implementieren. Generative KI-Aufgaben ermöglichen es Ihnen, eine Eingabeaufforderung an ein großes Sprachmodell (LLM) zu senden und die generierte Ausgabe zu erhalten.
Vorbereitende Schritte
Um das generative AI-Tooling im Service-Flow-Editor zu verwenden, müssen Sie zunächst den Server mit einer Verbindung zum Anbieter watsonx.ai™ konfigurieren. Wenn Sie im Dienstablauf-Editor zur Registerkarte Gen AI navigieren und der Server nicht konfiguriert ist, werden auf einer Seite eine Fehlermeldung und ein Link zur Konfigurationsdokumentation angezeigt.
Wie Sie generative KI-Aufgaben konfigurieren können, erfahren Sie unter Aktivieren generativer KI in Business Automation Workflow auf Containern.
Nach der Konfiguration des Servers wird ein neuer KI-Eintrag () für die generative KI-Aufgabe zum Abschnitt Aktivität der Palette des Dienstflusseditors hinzugefügt.
Vorgehensweise
- Öffnen Sie die Prozessanwendung im Designer und öffnen Sie einen bestehenden Serviceablauf, oder erstellen Sie einen neuen im Navigationsbaum auf der linken Seite.
- Klicken Sie in der Diagrammansicht des Dienstablaufs auf den Pfeil neben dem Aktivitätssymbol in der Komponentenpalette, um die Unterpalette zu öffnen, und ziehen Sie das AI-Symbol () auf die Diagrammfläche.
- Um die generative KI-Aufgabe zu konfigurieren, klicken Sie auf diese Aufgabe im Diagramm, gehen Sie zur Registerkarte Implementierung und klicken Sie auf Gen KI öffnen, oder klicken Sie auf die Registerkarte Gen KI oben im Editor und klicken Sie auf den Aufgabennamen im linken Feld.
Auf der Registerkarte Gen AI öffnet sich ein Editor.
- Wählen Sie das große Sprachmodell (LLM), das Sie für Ihre Eingabeaufforderung verwenden möchten.
Jeder Eintrag enthält eine kurze Beschreibung des LLM.
- Erstellen Sie eine Eingabeaufforderung, die zur Bearbeitung an den LLM gesendet wird.
- Geben Sie in das Feld Kontext eine imperative Anweisung ein.
- Optional: Geben Sie in das Eingabefeld den Text ein, auf den das Modell reagieren soll.
- Optional: Fügen Sie Variablen hinzu, um die Wiederverwendbarkeit des Kontexts und der Eingabe zu erhöhen.
- Wechseln Sie zur Registerkarte Variablen des Dienstablaufs, und klicken Sie für jede im Dienstablauf benötigte Ein- und Ausgangsvariable auf das +-Zeichen neben dem Abschnitt Variablen. Ersetzen Sie im Feld Name den Standardnamen durch einen aussagekräftigeren Namen. Klicken Sie auf Auswählen neben Variablentyp und wählen Sie String Systemdaten aus der Liste. Optional können Sie einen Standardwert für die Variable festlegen, indem Sie die Option Standard haben auswählen und einen Wert in das entsprechende Feld im Abschnitt Standardwert eingeben.
- Klicken Sie im Editor auf der Registerkarte Gen AI im Abschnitt Variablen auf Variable hinzufügen +.
- Wählen Sie aus dem Dropdown-Menü die Variablen aus, die der Gen AI-Aufgabe hinzugefügt werden sollen, und klicken Sie auf Hinzufügen. Nur Variablen vom Typ String, die keine Liste sind, werden unterstützt und sind im Dropdown-Menü verfügbar.
Die Variablen werden jetzt zur generativen KI-Aufgabe hinzugefügt und im Abschnitt
„Variablen“ aufgelistet. Diese Variablen können später durch Klicken auf das Mülleimer-Symbol entfernt werden.
Achtung: Wenn eine Variable aus der Registerkarte „Variablen“ gelöscht wird, steht sie in der Eingabeaufforderung und im Kontext nicht mehr zur Verfügung und muss auch dort gelöscht werden.
- Um zu sehen, welche verschiedenen Arten von Ausgaben für den LLM mit verschiedenen Eingabewerten erzeugt werden, geben Sie einen Testwert für die Variable in das Feld Wert ein, der in Ihrer Eingabeaufforderung verwendet werden soll. Dieser Wert wird zur Laufzeit nicht verwendet.
Hinweis: Wenn für die Variable im Service-Flow ein Standardwert hinzugefügt wurde, wird dieser automatisch im Feld „Wert “ angezeigt, wenn die Variable zur Gen AI-Aufgabe hinzugefügt wird.
- Fügen Sie Variablen aus dem Leistungsfluss in den Kontext oder die Eingabe ein, indem Sie auf das + Zeichen in der linken unteren Ecke der Bereiche klicken oder die Taste drücken. Der Variablenname wird dann im zugehörigen Feld angezeigt, eingeschlossen in doppelten geschweiften Klammern, zum Beispiel:
- Optional: Um die Länge der erzeugten Ausgabe zu begrenzen, geben Sie im Bereich Parameter die minimale und maximale Anzahl von Token an, die der LLM erzeugen kann.
Tipp: Ein Token ist eine Zeichenfolge, die für ein Modell eine semantische Bedeutung hat. Vor der LLM-Verarbeitung werden die Wörter in Ihrem Eingabetext in Token umgewandelt. Ebenso liegt die Rohausgabe des Modells in Form von Token vor. Diese Ausgabe-Token werden dann wieder in Wörter umgewandelt, die als Endergebnis angezeigt werden.
- Die Mindest- und Höchstwerte sind auf 1 und 50 festgelegt.
- Der Minimalwert kann nicht 0 sein.
- Jeder LLM hat eine Höchstgrenze für die Gesamtzahl der Token, die sowohl die Token in der Eingabeaufforderung als auch die Token in der generierten Ausgabe umfasst. Sie können diese Grenzen in den LLM-Beschreibungen im Dropdown-Menü Großes Sprachmodell einsehen. Weitere Informationen über Token finden Sie unter Token und Tokenisierung
.
Die Kosten für den Aufruf des LLM hängen von der Anzahl der Token ab, die er verbraucht und produziert. Um sicherzustellen, dass die Antwort relevant ist, ohne zu ausführlich zu sein, empfiehlt es sich, das Ergebnis zu begrenzen. Wenn zum Beispiel eine "Ja"- oder "Nein"-Antwort erwartet wird, können Sie die maximale Anzahl der Token auf 1 setzen.
- Optional: Um die Genauigkeit und Relevanz der generativen KI-Aufgabe zu verbessern, fügen Sie Trainingsbeispiele hinzu und geben Sie ein oder mehrere Paare von Beispieleingaben und entsprechenden Ausgaben an, indem Sie im Abschnitt Trainingsbeispiele auf Neues Beispiel klicken und die Eingaben und erwarteten Ausgaben eingeben.
Wenn Sie den LLM mit geeigneten Trainingsbeispielen versorgen, werden Sie bessere Ergebnisse erzielen. Achten Sie jedoch darauf, dass Sie die vom LLM festgelegte Obergrenze für die Token-Eingabe und die Obergrenze für die Token sowohl für die Eingabe als auch für die generierte Ausgabe nicht überschreiten.
- Klicken Sie auf „Generieren“ .
Tipp: Wenn Sie auf RAW neben der Schaltfläche Generieren klicken, werden Informationen angezeigt, die an den LLM gesendet werden.
- Überprüfen Sie das Ergebnis im Bereich " Generierte Ausgabe", indem Sie auf das Symbol " Unbearbeitete Eingabeaufforderung " klicken, um die unbearbeiteten Eingabeaufforderungen anzuzeigen.
Im Fenster
"Rohdateneingabeaufforderung anzeigen" können Sie den Kontext, die Eingabe und die Trainingsbeispiele sehen, die zur Erstellung der Ausgabe verwendet werden:
- Um die Ergebnisse Ihrer Eingabeaufforderung weiter zu verbessern, können Sie die Eingabe oder die erwartete Ausgabe bearbeiten und weitere Beispiele angeben.
- Wenn Sie mit der generierten Ausgabe zufrieden sind, können Sie auf Als Beispiel speichern klicken, um die Eingabeaufforderung und die generierte Ausgabe als Trainingsbeispiel zu speichern, das dann im Abschnitt Trainingsbeispiele aufgeführt wird.
- Ordnen Sie die generierte Ausgabe den Variablen in Ihrem Dienstablauf zu, indem Sie den Abschnitt Datenzuordnung im Eigenschaftenbereich der Registerkarte Diagramm aufrufen.
Der Output der Aufgabe wird auf die Variablen im Dienstablauf abgebildet, so dass der Output von anderen nachgelagerten Aufgaben oder aufrufenden Prozessen oder Dienstaufgaben verwendet werden kann. Es ist kein Input-Mapping auszufüllen, da dies implizit beim Hinzufügen von Variablen auf der Registerkarte
Gen AI geschieht. Für die Zuordnung stehen vier Ausgaben der Aufgabe zur Verfügung:
- Erstellter Text: Die LLM-Ausgabe.
- Anzahl der generierten Token: Die Anzahl der Token, die vom LLM für den generierten Text erzeugt werden.
- Anzahl der Eingabe-Token: Die Anzahl der Token, die vom LLM für die gegebene Eingabe verbraucht werden.
- Grund der Unterbrechung: Der Grund, warum der Anruf gestoppt wurde. Dabei kann es sich um Folgendes handeln:
- nicht_abgeschlossen: Möglicherweise müssen mehr Token gestreamt werden.
- max_tokens: Maximale Anzahl angeforderter Token erreicht.
- eos_token: Ende des Sequenz-Tokens gefunden.
- storniert: Die Anfrage wurde vom Kunden storniert.
- time_limit: Zeitlimit erreicht.
- stop_sequence: Stoppsequenz angetroffen.
- token_limit: Token-Limit erreicht.
- fehler: Ein Fehler ist aufgetreten.
Ergebnisse
Die generative KI-Eingabeaufforderung, die Sie für eine generative KI-Aufgabe in einem Serviceablauf konfiguriert haben, kann jetzt aus Ihrer Prozessanwendung heraus aufgerufen werden.