Cos'è il meta prompting?

Consideriamo uno scenario. Fai una domanda a un modello AI, ricevi una risposta e tutto finisce lì. Immagina invece di dargli un modello testato che mostra esattamente come affrontare un problema complesso e all'improvviso risolve un'intera categoria, più velocemente, in modo più intelligente e con maggiore coerenza. Questo è ciò che offre il meta prompting.  

Sebbene i modelli linguistici di grandi dimensioni (LLM) come ChatGPT di OpenAI, Gemini di Google e i modelli open source di Anthropic possano gestire numerose attività, spesso si imbattono in ragionamenti complessi. I metodi attuali come la chain-of-thought e tree-of-thought aiutano, ma non possono eguagliare il ragionamento umano. Il meta prompting cambia questa realtà, fornendo agli LLM dei framework strutturati per prestazioni più avanzate.

Il meta prompting è una tecnica di prompt engineering avanzata che fornisce agli LLM un modello di prompt passo dopo passo riutilizzabile e in linguaggio naturale. Questo metodo consente al modello di risolvere un'intera categoria di compiti complessi, anziché un singolo prompt per un singolo problema. Il meta prompting insegna a un modello AI come pensare alla risoluzione del problema concentrandosi sulla struttura, sulla sintassi e sul modello di ragionamento necessari per raggiungere la risposta finale. Questo significa che utilizza il prompt engineering per definire come il modello dovrebbe esaminare il problema, passo dopo passo, prima di produrre la risposta finale.

Ad esempio, un utente chiede a un'AI di risolvere un sistema di due equazioni lineari, x − y = 4 e 2x + 3y = 12. Utilizzando un prompt, all'AI può essere ordinato di:  

• Determinare i coefficienti di ogni equazione.
• Scegliere un metodo di risoluzione.
• Risolvere il problema passo dopo passo per derivare ogni variabile.
• Inserire i valori in entrambe le equazioni e controllare il risultato.

Questa architettura offre adattabilità, fornisce output di alta qualità e consente agli agenti AI di gestire problemi complessi in quasi tutti i domini con poche richieste.

La tecnica di meta prompting si basa su concetti matematici, teoria dei tipi e categorie che offrono un metodo organizzato per mappare i problemi alle soluzioni.¹

Questo approccio è importante perché mantiene una struttura chiara tra le attività e i loro prompt, rendendo facile per l'AI seguire un modello standard e risolvere un'ampia gamma di problemi. L'idea alla base della teoria delle categorie è quella di mappare le relazioni. Una categoria è un "mondo" di oggetti e delle loro relazioni. Nel meta prompting, possiamo considerare:  

• Una categoria (T) come un insieme di compiti (ad esempio, "risolvere un sistema di equazioni"). 
• Un'altra categoria (P) come l'insieme di prompt strutturati per tali compiti. 
• Il meta prompting functor (M) converte ogni attività in T nel prompt strutturato corrispondente in P mantenendo la struttura logica. 

Se si modifica il compito (ad esempio, i numeri in un problema di matematica), il framework del ragionamento rimane lo stesso e il prompt si adatta di conseguenza.

Questo scenario è migliorato dalla teoria dei tipi, che garantisce che la progettazione del prompt corrisponda al tipo di problema. Nel meta prompting, un tipo potrebbe essere un "problema matematico" o una "richiesta di riepilogo". Garantisce che un compito matematico abbia una struttura di ragionamento specifica per la matematica, mentre un compito di riepilogo ottiene un modello orientato al riepilogo che mantiene l'accuratezza, l'adattabilità e previene il ragionamento irrilevante su compiti complessi.

Per mettere in pratica questi concetti, il meta prompting prevede tre passaggi: 

1. Determinare il compito (T): specificare la categoria del problema, non solo l'istanza particolare. 

2. Mappare il compito a un prompt strutturato (P): creare un modello organizzato e sequenziale per il ragionamento utilizzando il meta prompting functor (M). Questa generazione di prompt può essere effettuata automaticamente dagli agenti AI oppure manualmente. 

3. Esecuzione e output: L'LLM garantisce una risoluzione dei problemi coerente e comprensibile, applicando il prompt strutturato e specifico al particolare input. 

Nel precedente esempio di risoluzione di un insieme di due equazioni lineari: [2x + 3y = 12 e x-y = 4], il compito (T) è "risolvere qualsiasi sistema di due equazioni lineari". La mappatura produce un nuovo prompt (P) che potrebbe apparire così: 

"Agisci come un tutor di matematica e spiega come risolvere passo dopo passo l'insieme di equazioni lineari. 
2x + 3y = 12 e x - y = 4

Utilizza questo modello strutturato:

1: Identifica i coefficienti a1, b1, c1 dalla prima equazione e a2, b2, c2 dalla seconda. 

2: Scegli un metodo per risolvere (sostituzione o eliminazione).  

3: Se si utilizza il metodo dell'eliminazione, moltiplica una o entrambe le equazioni fino a quando i coefficienti di x o y corrispondono al valore assoluto. 

4: Aggiungi o sottrai le equazioni per rimuovere una variabile.

5: Risolvi per la variabile rimanente.

6: Per trovare l'altra variabile, inserisci il valore risolto in una delle equazioni iniziali.

7: Verifica sostituendo x e y nelle equazioni originali.

8: Riassumi la risposta finale come (x, y)."

Se le equazioni cambiano, l'LLM può ancora risolverle e continuare a ragionare perché il functor fornisce la stessa struttura con nuovi numeri. Il risultato è un modello di prompt accurato che consente ai workflow di AI generativa di risolvere i problemi in modo affidabile, adattabile e scalabile.

Il meta prompting è stato testato su varie attività di ragionamento, programmazione e creatività, spesso superando il prompting standard e persino i modelli ottimizzati. Ad esempio, nel set di dati MATH contenente 5.000 problemi di parole matematiche a livello di competizione, i ricercatori hanno utilizzato un meta prompting zero‑shot con il Qwen‑72B LLM. Ha raggiunto una precisione del 46,3%, superando il punteggio iniziale del GPT‑4 del 42,5% e battendo i modelli perfezionati. Il prompt ha fornito un framework passo dopo passo, consentendo di gestire problemi non visti senza utilizzare esempi memorizzati.

Il meta prompting può gestire il workflow di sviluppo del software dalla pianificazione alla recensione del codice, consentendo agli LLM di funzionare come architetti, sviluppatori e tester. Ad esempio, l'aggiunta di uno specialista Python all'architettura del meta prompting per la generazione e l'esecuzione del codice ha aumentato la percentuale di successo del Python Programming Puzzle dal 32,7% al 45,8%.² Può definire il tono e la struttura nello sviluppo dei contenuti e iterare il materiale per ottenere risultati significativi. Ad esempio, in un compito di scrittura di sonetti shakespeariani che richiede una struttura poetica rigorosa, il meta prompting ha aumentato la precisione dal 62% rispetto al prompt standard. Con un interprete Python, la precisione è aumentata al 79,6% e, senza di esso, al 77,6%, dimostrando la sua forza nel perfezionare tono e struttura. 

Considerando questi casi d'uso, il meta prompting converte istruzioni complicate in passaggi gestibili che forniscono risultati più in linea con il dominio.

Il meta prompting differisce dalle tecniche di prompting come lo zero-shot e la generazione di prompt few-shot, sia per quanto riguarda la messa a fuoco che l'esecuzione.

In modalità zero-shot, un LLM esegue un compito senza esempi, basandosi solo sul pre-addestramento. Sebbene vada bene per compiti semplici, spesso produce ragionamenti incoerenti in presenza di compiti complessi. Il meta prompting migliora questo problema con un modello di prompt organizzato e riutilizzabile che guida la risoluzione dei problemi e garantisce risultati coerenti e spiegabili.

Il few-shot prompting fornisce a un modello alcuni esempi da imitare, come mostrare tre problemi matematici risolti prima di chiederne un quarto. In questo modo si “insegna attraverso l’esempio”, ma si lega comunque il ragionamento del modello a quegli esempi. Il meta prompting astrae invece il processo di risoluzione del problema stesso in un modello generalizzato, passo dopo passo, indipendente da esempi specifici, flessibile e riutilizzabile per intere classi di problemi.

Rispetto al prompting chain‑of‑thought che istruisce il modello a pensare passo dopo passo, il meta prompting definisce quali dovrebbero essere questi passaggi per un tipo specifico di attività, rendendo il processo di ragionamento più adattabile. 

Questa funzionalità rende il meta prompting particolarmente utile per l'AI generativa, gli agenti di AI e i workflow complessi in cui l'affidabilità e l'adattabilità sono critici.

Il meta prompting può essere applicato in diversi modi a seconda di chi crea il prompt, di come viene generato e di come viene utilizzato all'interno di un workflow di AI. 

Questo è il tipo più semplice di meta prompting. Un essere umano, ad esempio un esperto di dominio o un prompt engineer, scrive un modello chiaro e dettagliato il compito. L'LLM segue quindi questa struttura per arrivare alla risposta. Questo approccio funziona bene quando si sa esattamente come risolvere un problema e si desidera ottenere risultati coerenti e di alta qualità. Pertanto, creare questi prompt per i diversi compiti richiede tempo e competenze.

Qui, l'LLM o un agente di AI creano il meta prompting da soli prima di risolvere il problema. Questo tipo avviene in due fasi: il primo passaggio contiene la descrizione dell'attività e genera un prompt strutturato e dettagliato, mentre il secondo passaggio utilizza quel prompt per produrre la risposta finale. Consente all'AI di adattare il suo processo di risoluzione dei problemi, rendendolo utile per gli scenari zero‑shot e few‑shot senza esempi pronti. Lo svantaggio è che la qualità dell'output dipende dalla qualità del prompt AI.

Questa tipologia viene utilizzata nei workflow di AI complessi in cui più LLM o agenti AI lavorano insieme. Un modello conductor pianifica il processo e crea meta prompting diversi per ogni modello specializzato. Il conductor suddivide l'attività principale in attività secondarie, quindi utilizza modelli di prompt per assegnare ogni parte allo specialista giusto. Ad esempio, un modello gestisce le operazioni, un altro scrive Python e un altro verifica i risultati. Questo lavoro di squadra migliora la precisione e l'adattabilità, ma richiede più potenza di calcolo.

Il meta prompting non è solo un metodo per migliorare le risposte dell'AI, bensì è anche un modo per consentire alle persone di interagire con gli LLM. Invece di dare istruzioni dirette ai modelli AI, ne stiamo influenzando il processo di pensiero insegnando loro a generare dei prompt efficaci. Il meta prompting supporta una forma di auto-ottimizzazione dell'AI in cui il ragionamento e l'adattabilità si evolvono a ogni iterazione, il che aiuta nello sviluppo di sistemi di AI più intelligenti e autonomi.