Vorlagen für freigegebene Eingabeaufforderungen in Projekten auswerten

Erstellen Sie über die Benutzeroberfläche eine eigenständige Eingabeaufforderungsvorlage

Sie können eine eigenständige Eingabeaufforderungsvorlage direkt über die Benutzeroberfläche von „ watsonx.governance “ erstellen. Mit eigenständigen Prompt-Vorlagen können Sie Prompts unabhängig von den Bereitstellungsressourcen bewerten.

Vorgehensweise:

1. Wechseln Sie in Ihrem Projekt zur Registerkarte „Assets“, klicken Sie auf „Neues Asset“ > „Mit Modellen arbeiten “ und wählen Sie anschließend „Externes KI-Asset für die Governance vorbereiten“ aus.

2. Wenn Ihrem Projekt keine „ watsonx.governance “-Instanz zugeordnet ist, werden Sie aufgefordert, eine auszuwählen. Klicken Sie auf „Service-Instanz zuordnen “, wählen Sie eine Instanz aus und klicken Sie dann auf „Zuordnen “.

3. Geben Sie die Details für die eigenständige Eingabeaufforderungsvorlage ein.

   Erforderliche Felder:

   • Name: Geben Sie einen Namen für die eigenständige Eingabeaufforderungsvorlage ein.
   • Vorlagen- URL : Die URL für die Eingabeaufforderung, sofern vom Anbieter unterstützt.
   • URL zum Foundation-Modell: Link zur Dokumentation des Modells oder zu weiteren Ressourcen.
   • Name des Grundmodells: Name des Grundmodells
   • ID des Basis-Modells: Die eindeutige Kennung des bereitgestellten Modells, häufig im ARN-Format oder einem gleichwertigen Format.
   • Aufgabentyp: Wählen Sie den Typ der Aufgabe aus, die die Eingabeaufforderungsvorlage ausführt.

4. Optional: Geben Sie die Basisaufforderung ein, die Sie für die Auswertung verwenden möchten. Diese Eingabeaufforderung definiert die Anweisung oder Frage, die vom großen Sprachmodell verarbeitet wird.

5. Wählen Sie eine Dekodierungsmethode aus:

   • Gierig: Erzeugt bei jedem Schritt das wahrscheinlichste nächste Token.
   • Stichprobenverfahren: Bringt Zufälligkeit in den Generierungsprozess ein.

6. Definieren Sie Eingabeaufforderungsvariablen.

   Definieren Sie im Abschnitt „Prompt-Variablen “ alle Variablen, die in der Eingabeaufforderung verwendet werden. Variablen sind Schlüssel-Wert-Paare, die bei der Auswertung in die Eingabeaufforderung eingefügt werden. Diese Variablen sind beim Erstellen der Vorlage nicht erforderlich, aber für die Auswertung der Vorlage muss mindestens eine Variable angegeben werden.

7. Überprüfen und erstellen Sie die Vorlage für die eigenständige Eingabeaufforderung. Vergewissern Sie sich, dass alle Pflichtfelder ausgefüllt sind, und klicken Sie dann auf „Erstellen“, um die Vorlage für die eigenständige Eingabeaufforderung zu speichern.

Erstellen Sie mit der API eine eigenständige Eingabeaufforderungsvorlage

Um mithilfe der API eine eigenständige Eingabeaufforderungsvorlage zu erstellen, sehen Sie sich das folgende Beispiel an:

{
    "name": "prompt name",
    "description": "prompt description",
    "model_version": {
        "number": "2.0.0.7",
        "tag": "my prompt tag",
        "description": "my description"
    },
    "prompt_variables": {
        "var1": {},
        "var2": {}
    },
    "task_ids": [
        "retrieval_augmented_generation"
    ],
    "input_mode": "detached",
    "prompt": {
        "model_id": "",
        "input": [
            [
                "Some input",
                ""
            ]
        ],
        "data": {},
        "external_information": {
            "external_prompt_id": "external prompt",
            "external_model_id": "external model",
            "external_model_provider": "external provider",
            "external_prompt": {
                "url": "https://company.com?asd=a&32=1",
                "additional_information": [
                    {
                        "additional_key": "additional settings"
                    }
                ]
            },
            "external_model": {
                "name": "An external model",
                "url": "https://company.com?asd=a&32=1"
            }
        }
    }
}

Abmessungen auswählen

Der Assistent Eingabeaufforderungsvorlage auswerten zeigt die Dimensionen an, die für die Auswertung des Tasktyps verfügbar sind, der Ihrer Eingabeaufforderung zugeordnet ist. Sie können die Dimensionen erweitern, um die Liste der Metriken anzuzeigen, die zum Auswerten der ausgewählten Dimensionen verwendet werden.

Watsonx.governance konfiguriert automatisch Auswertungen für jede Dimension mit Standardeinstellungen. Zum Konfigurieren von Bewertungen mit unterschiedlichen Einstellungen können Sie Erweiterte Einstellungen auswählen, um Mindeststichprobengrößen und -schwellenwerte für jede Metrik festzulegen, wie im folgenden Beispiel gezeigt:

Testdaten auswählen

Sie müssen eine „ CSV “-Datei hochladen, die Testdaten mit Referenzspalten enthält, in denen die Eingabe und die erwartete Modellausgabe aufgeführt sind. Die von Ihnen hochgeladenen Testdaten müssen die Modellausgabe in einer Spalte mit generated_text dem Namen enthalten, um eine unabhängige Bewertung der Bereitstellung zu ermöglichen.

Sobald der Upload abgeschlossen ist, müssen Sie außerdem die Eingabeaufforderungsvariablen den entsprechenden Spalten Ihrer Testdaten zuordnen.

Überprüfen und bewerten

Sie können die Auswahl für den Aufgabentyp der Eingabeaufforderung, die hochgeladenen Testdaten und den Typ der ausgeführten Auswertung überprüfen. Sie müssen Auswerten auswählen, um die Auswertung auszuführen.

Bewertungsergebnisse einsehen

Wenn Ihre Bewertung abgeschlossen ist, können Sie auf der Registerkarte Bewertungen in watsonx.governance eine Zusammenfassung Ihrer Auswertungsergebnisse prüfen, um Einblicke in Ihre Modellleistung zu erhalten. Die Zusammenfassung bietet einen Überblick über Metrikbewertungen und Verstöße gegen Standardbewertungsschwellenwerte für Ihre Eingabeaufforderungsvorlagenauswertungen.

Wenn Ihnen die Rolle Anzeigeberechtigter für Ihr Projekt zugewiesen wurde, können Sie Auswerten in der Assetliste auf der Registerkarte Assets auswählen, um die Auswertungsergebnisse anzuzeigen.

Um die Ergebnisse zu analysieren, können Sie auf den Pfeil neben der Auswertung Ihrer Prompt-Vorlage klicken, um Datenvisualisierungen Ihrer Ergebnisse im Zeitverlauf anzuzeigen. Sie können auch Ergebnisse der Modellzustandsauswertung analysieren, die standardmäßig während der Auswertungen von Eingabeaufforderungsvorlagen ausgeführt wird, um zu verstehen, wie effizient Ihr Modell Ihre Daten verarbeitet.

Das Menü Aktionen enthält außerdem die folgenden Optionen, die Sie bei der Ergebnisanalyse unterstützen:

• Jetzt auswerten: Führen Sie die Auswertung mit einem anderen Testdataset aus
• Alle Bewertungen: Zeigen Sie einen Verlauf Ihrer Bewertungen an, um zu verstehen, wie sich Ihre Ergebnisse im Laufe der Zeit ändern.
• Überwachungen konfigurieren: Konfigurieren Sie Bewertungsschwellenwerte und Stichprobenumfänge.
• Modellinformationen anzeigen: Zeigen Sie Details zu Ihrem Modell an, um zu verstehen, wie Ihre Implementierungsumgebung eingerichtet ist.