Prompt Lab
Utilizza l' Prompt Lab, disponibile all'indirizzo IBMwatsonx.ai, per sperimentare con i prompt di diversi modelli, esplorare esempi di prompt e salvare e condividere i tuoi prompt migliori.
- Autorizzazioni richieste
- Per eseguire le richieste, è necessario disporre del ruolo Admin o Editor in un progetto.
Con il Prompt Lab si progettano prompt efficaci da sottoporre ai modelli di base implementati per l'inferenza. Non si utilizza il Prompt Lab per creare nuovi modelli di fondazione.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.
Creazione ed esecuzione di un prompt
Per creare ed eseguire una nuova richiesta, completare la seguente procedura:
All'interno di un progetto, vai alla scheda Risorse, clicca su Nuova risorsa, quindi clicca sul riquadro Nuova risorsa > Chat e creazione di prompt con modelli di base.
Facoltativo: scegliere una modalità di modifica differente da utilizzare, ad esempio Formato libero.
Seleziona un modello.
Suggerimento: per visualizzare tutti i modelli disponibili, rimuovi eventuali filtri di ricerca applicati.Facoltativo: aggiornare i parametri del modello o aggiungere le variabili di prompt.
Immettere un prompt.
Clicca sull'icona Invia.In modalità Strutturata o Freeform , fare clic su Genera.
È possibile annullare una richiesta di inferenza in qualsiasi momento facendo clic sull'icona "Stop".Per conservare il proprio lavoro in modo da poter riutilizzare o condividere un prompt con i collaboratori nel progetto corrente, salvare il lavoro come un asset del progetto. Per ulteriori informazioni, consultare Salvataggio delle richieste.
Per eseguire un prompt di esempio, completare la seguente procedura:
Dal menu dei prompt di esempio nel Prompt Lab, selezionate un prompt di esempio.
Il prompt viene aperto nell'editor e viene selezionato un modello appropriato.
Fare clic su Genera.
I prompt di esempio sono disponibili per i modelli Foundation installati. Se i modelli installati nel cluster cambiano a seguito di un aggiornamento del software, cambieranno anche gli esempi disponibili.
Opzioni di modifica prompt
Il prompt viene immesso nell'editor prompt. L'editor di prompt ha le seguenti modalità di modifica:
Modalità conversazione
Puoi chattare con il modello per vedere come gestisce i dialoghi o le domande e risposte.
È possibile scegliere tra i modelli di base di IBM e i modelli disponibili tramite il portale dei modelli.
Inizia la chat inviando una domanda o una richiesta a cui il modello dovrà rispondere. In alternativa, è possibile fare clic su un esempio di avvio rapido da inoltrare al modello. I campioni di avvio rapido vengono inviati al modello di fondazione Llama. Se desideri utilizzare un modello diverso, inserisci il testo del prompt che preferisci.
Ogni turno successivo nella conversazione si basa sulle informazioni che sono state scambiate in precedenza.
Se i modelli di fondazione Llama non sono installati, i prompt di avvio rapido non vengono visualizzati in modalità chat.
Prima di iniziare una chat, rivedi e modifica la scelta del modello e le impostazioni dei parametri. Per supportare lunghi scambi di dialogo, il parametro Numero massimo di token è impostato su un valore predefinito elevato. È possibile aggiungere una sequenza di arresto per evitare che il modello generi, ad esempio, output di tipo wordy.
Modelli di chat
Il testo predefinito denominato prompt di sistema viene incluso all'inizio della chat per definire le regole di base per la conversazione. 
Per rivedere e personalizzare il testo, clicca sull'icona "Modifica messaggio di sistema ".
Alcuni modelli suggeriscono modelli specifici che identificano i diversi segmenti del prompt, come le istruzioni del prompt e l'input dell'utente. La modalità chat adatta la sintassi del prompt inserito in modo che rispetti il formato consigliato da ciascun modello. È possibile fare clic sull'icona 
"Visualizza testo completo del prompt" per visualizzare il testo completo del prompt che verrà inviato al modello.
Suggerimenti per la messa a terra basati sui fatti
Per aiutare il modello a fornire risultati accurati, aggiungi al prompt dei documenti contenenti informazioni pertinenti. 
Fai clic sull'icona Carica documenti, quindi seleziona Aggiungi documenti. Per ulteriori informazioni, consulta la sezione "Chat con documenti e immagini".
È inoltre possibile aggiungere dati pertinenti provenienti da un archivio vettoriale di terze parti. Clicca sull'icona 
"Grounding with documents" e seleziona l'indice vettoriale. Per ulteriori informazioni, consultare la sezione "Aggiunta di documenti vettorializzati per la creazione di prompt per i modelli di base ".
Funzionalità omesse dalla modalità chat
Le seguenti funzioni sono omesse dalla modalità chat:
Il conteggio dell'utilizzo del token non viene mostrato in modalità chat.
Tieni presente che la cronologia delle chat viene inviata ad ogni nuovo prompt che invii e che contribuisce al conteggio complessivo dei token.
Puoi controllare tu stesso il numero di token utilizzando l'API. Clicca sull'icona
"Visualizza testo completo del prompt" per aprire e copiare il testo completo del prompt, quindi utilizza il metodo di tokenizzazione "Testo" per contare i token.Non è possibile definire le variabili di prompt in modalità chat. Di conseguenza, non è possibile gestire i modelli di prompt della chat salvati.
Guarda questo video che illustra la modalità Chat nell' Prompt Lab. Il video inizia dalla schermata iniziale dell' watsonx. L'utente seleziona "Apri" Prompt Lab.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.
Modalità strutturata
La modalità strutturata è progettata per aiutare i nuovi utenti a creare prompt efficaci. Il testo dai campi viene inviato al modello in formato modello.
Si aggiungono parti del prompt nei campi appropriati:
Istruzione: aggiungi un'istruzione se ha senso per il tuo caso d'uso. Un'istruzione è un'istruzione imperativa, come Riepiloga il seguente articolo.
Esempi: aggiungi una o più coppie di esempi che contengono l'input e l'output corrispondente che desideri. La fornitura di alcune coppie di input e output di esempio nel prompt è denominata richiesta di pochi istantanei.
Se è necessario un prefisso specifico per l'input o l'output, è possibile sostituire le etichette predefinite, "Input:" o "Output:", con le etichette che si desidera utilizzare. Ad esempio, è possibile sostituire le etichette predefinite con quelle personalizzate utilizzate nei dati di addestramento quando un modello è stato ottimizzato tramite prompt.
Viene aggiunto uno spazio tra l'etichetta di esempio e il testo di esempio.
Verifica l'input: nell'area Prova , immetti l'input finale del tuo prompt.
Modalità in formato libero
Aggiungere il prompt in testo semplice. Il testo della richiesta viene inviato al modello esattamente come è stato immesso.
La modalità a formato libero è una buona scelta quando si desidera inoltrare un input strutturato e sapere come formattare il prompt.
Opzioni di configurazione del modello e del prompt
È necessario specificare quale modello richiedere e, facoltativamente, impostare i parametri che controllano il risultato generato.
Scelte del modello
Nell' Prompt Lab è possibile inviare il proprio prompt a qualsiasi modello supportato da watsonx.ai, compresi i modelli di base di IBM e quelli disponibili tramite il model gateway. È possibile scegliere i modelli utilizzati di recente dall'elenco a discesa. Oppure puoi cliccare su "Visualizza tutti i modelli di base" per visualizzare tutti i modelli supportati, filtrarli in base all'attività e leggere le informazioni relative ai modelli.
Se si è sintonizzato un modello di fondazione usando Tuning Studio e si è distribuito il modello sintonizzato o si è distribuito un modello di fondazione personalizzato, il modello sintonizzato o personalizzato è disponibile anche per la richiesta di informazioni dal Prompt Lab.
Parametri del modello
Per controllare il modo in cui il modello genera l'output in risposta al prompt, è possibile specificare i parametri di decodifica e i criteri di arresto. Per ulteriori informazioni, consultare Parametri del modello per la richiesta.
Variabili prompt
Per aggiungere flessibilità ai prompt, è possibile definire le variabili di prompt. Una variabile di prompt è una parola chiave segnaposto inclusa nel testo statico del prompt al momento della creazione e sostituita dinamicamente con il testo al runtime. Per ulteriori informazioni, consultare Creazione di prompt riutilizzabili.
Visualizza il testo completo della richiesta
Potresti voler vedere il testo completo della richiesta che verrà inviata al modello nelle seguenti situazioni:
- Quando le variabili di prompt sono in uso, per visualizzare i valori di variabile risolti nel contesto.
- In modalità chat, dove i formati di prompt consigliati per i diversi modelli vengono applicati automaticamente.
- In modalità strutturata, dove si aggiungono parti della richiesta in campi separati.
Guardrail AI
Quando si imposta il commutatore AI guardrails su On, la lingua dannosa viene automaticamente rimossa dal testo del prompt di input e dall'output generato dal modello. In particolare, qualsiasi frase nell'input o nell'output che contiene una lingua dannosa viene sostituita con un messaggio che indica che il testo potenzialmente dannoso è stato rimosso.
Per ulteriori informazioni, consultare Rimozione del contenuto nocivo.
Codice di richiesta
Se si desidera eseguire la richiesta in modo programmatico, è possibile visualizzare e copiare il codice di richiesta o utilizzare la libreria Python .
Visualizza codice
Quando si fa clic sull'icona "Visualizza codice ", viene visualizzato un comando ` cURL ` che è possibile richiamare dall'esterno dell' Prompt Lab per inviare il prompt e i parametri correnti al modello selezionato e ottenere una risposta generata.
Alternativa programmatica al Prompt Lab
L'interfaccia grafica di Prompt Lab è un luogo ideale per sperimentare e iterare con i vostri prompt. Tuttavia, è possibile richiedere i modelli di fondazione in watsonx.ai anche in modo programmatico, utilizzando la libreria Python o l'API REST. Per i dettagli, vedi Coding generative AI solutions.
Suggerimenti disponibili
Nel pannello laterale, è possibile accedere ai prompt di esempio, alla cronologia della sessione e ai prompt salvati.
Esempi
Una raccolta di esempi di prompt è disponibile nel Prompt Lab. Gli esempi dimostrano il testo di prompt e i parametri del modello effettivi per le diverse attività, inclusi la classificazione, l'estrazione, la generazione del contenuto, la risposta alle domande e il riepilogo.
Quando si fa clic su un esempio, il testo del prompt viene caricato nell'editor, viene selezionato un modello appropriato e i parametri ottimali vengono configurati automaticamente.
Gli esempi integrati disponibili corrispondono ai modelli installati sul tuo cluster.
Cronologia
Quando si sperimenta con testo di prompt, scelte di modelli e parametri differenti, i dettagli vengono acquisiti nella cronologia della sessione ogni volta che si inoltra il prompt. Per caricare un prompt precedente, selezionare la voce nella cronologia e fare clic su Ripristina.
Salvato
Dal menu Modelli di prompt salvati , è possibile caricare qualsiasi prompt salvato nel progetto corrente come asset del modello di prompt.
Quando viene eseguito il provisioning di watsonx.governance , se il modello di prompt include almeno una variabile di prompt, è possibile valutare l'efficacia delle risposte del modello. Per ulteriori informazioni, consultare Valutazione dei modelli di prompt nei progetti.