O que é o prompt few-shot?

O prompt few-shot refere-se ao processo de fornecer a um modelo de IA alguns exemplos de uma tarefa para orientar seu desempenho. Esse método é particularmente útil em cenários em que não há dados de treinamento extensos disponíveis.

Em outras técnicas, como o prompt zero-shot, que não requer exemplos, ou o prompt one-shot, que depende de um único exemplo, o prompt few-shot usa vários exemplos para melhorar a precisão e a adaptabilidade. Além disso, outros frameworks avançados de engenharia de prompts, como prompt da cadeia de pensamento e árvore de pensamento também consomem exemplos para obter a saída desejada e otimizar a saída do modelo.

O aprendizado few-shot é essencial em situações para IA generativa, onde a coleta de grandes quantidades de dados rotulados é difícil. Os métodos de prompts convertem a entrada de texto em um formato estruturado, permitindo modelos como a série Granite da IBM, os modelos Llama da Meta e os GPT-3 e GPT-4 da OpenAI para preencher os espaços em branco com respostas apropriadas, executando tarefas de maneira eficaz sem conjuntos de dados rotulados extensos.^[1] Essa técnica também ajuda a obter o formato de saída predefinido, ao orientar o modelo por meio de exemplos específicos, garantindo consistência e precisão na estrutura desejada.

No campo em rápida evolução da inteligência artificial (IA), do aprendizado de máquina (ML) e do processamento de linguagem natural (NLP), o prompt few-shot surgiu como uma técnica poderosa. Esse método permite que os modelos executem tarefas com exemplos limitados, distinguindo-o de outros métodos de prompt, como prompt zero-shot e prompt one-shot. Compreender o prompt few-shot é crucial para aproveitar todo o potencial de sistemas avançados de IA, como o GPT-3/GPT-4 da OpenAI, e outros grandes modelos de linguagem (LLMs), como os modelos IBM Granite ou os modelos Llama da Meta.

A Figura 1 ilustra um processo de aprendizado few-shot para classificação de sentimento usando um grande modelo de linguagem. O prompt fornece exemplos de texto rotulado como "positivo" ou "negativo". O modelo, depois de ver esses exemplos rotulados, é encarregado de classificar um novo texto ("Este produto é muito econômico") como "positivo". Isso demonstra como o aprendizado few-shot permite que o modelo generalize a partir de um pequeno número de exemplos para executar uma tarefa específica.

O prompt few-shot opera apresentando ao modelo vários exemplos da tarefa desejada dentro do prompt. Essa técnica aproveita o conhecimento pré-treinado de grandes modelos de linguagem (LLMs) para executar tarefas específicas com eficiência, mesmo com dados limitados.

Consulta do usuário: o processo começa com uma consulta do usuário, como "Este produto é muito econômico".

Armazenamento de vetores: todos os exemplos são armazenados em um armazenamento de vetores, um banco de dados otimizado para pesquisa semântica. Quando uma consulta do usuário é recebida, o sistema realiza correspondência semântica para encontrar os exemplos mais relevantes do armazenamento de vetores.

Recuperação de exemplos relevantes: somente os exemplos mais relevantes são recuperados e usados para formar o prompt. Neste exemplo, a geração aumentada de recuperação (RAG) é utilizada para recuperar os exemplos de um armazenamento de vetores, o que ajuda a personalizar o prompt para a consulta específica. Embora a RAG não seja universalmente necessária para o prompt few-shot, ela pode aprimorar significativamente o processo, garantindo que os exemplos mais contextualmente relevantes sejam usados, melhorando, assim, o desempenho do modelo em determinados cenários.

Formação do prompt: o prompt é construído com os exemplos recuperados e a consulta do usuário. Por exemplo, o prompt pode ter esta aparência:

Processamento do LLM: o prompt construído é, então, alimentado no LLM. O modelo processa o prompt e gera uma saída, neste caso, classificando o sentimento da consulta do usuário.

Saída: o LLM gera a classificação, como "negativo" para o exemplo fornecido.

A pesquisa destacou a eficácia de uma abordagem de aprendizado few-shot, que reduz a dependência de uma engenharia de prompts abrangente. Diferentemente do ajuste fino tradicional, que envolve o ajuste de parâmetros do modelo usando um grande conjunto de dados antes do prompt, o ajuste fino na configuração few-shot se refere ao processo de adaptação de modelos pré-treinados com apenas alguns exemplos fornecidos diretamente no prompt. Essa abordagem permite que o modelo aproveite seu conhecimento preexistente de forma mais eficaz, sem a necessidade de treinamento adicional em grandes conjuntos de dados. [2] Este estudo demonstrou que, mesmo ao usar "prompts nulos" (prompts que não contêm modelos específicos de tarefa ou exemplos rotulados), o modelo ainda pode alcançar precisão competitiva em várias tarefas. Por exemplo, um prompt nulo pode simplesmente fazer uma pergunta como "Qual é o sentimento do seguinte texto?" sem dar exemplos ou instruções específicas sobre como classificar o sentimento. Apesar dessa falta de estrutura, o modelo pode ter um bom desempenho, demonstrando a robustez do aprendizado few-shot.

No geral, o estudo sugere que o aprendizado few-shot é uma estratégia altamente eficaz, particularmente quando são usados prompts estruturados. Embora prompts nulos possam produzir bons resultados, adicionar alguns exemplos bem escolhidos pode melhorar ainda mais o desempenho do modelo, tornando-o uma abordagem versátil e eficiente, especialmente em cenários com dados rotulados limitados. ^[1]

O prompt few-shot é uma técnica poderosa em processamento de linguagem natural (NLP), que permite que os modelos executem tarefas com o mínimo de exemplos. Essa abordagem tem várias vantagens e limitações que influenciam sua eficácia e aplicabilidade.

Vantagens

1. Eficiência e flexibilidade: o prompt few-shot reduz significativamente a quantidade de dados rotulados necessários para treinamento, tornando-o altamente eficiente e adaptável a novas tarefas. Ao aproveitar grandes modelos de linguagem pré-treinados, o prompt few-shot pode alcançar desempenho competitivo mesmo com dados limitados. Por exemplo, no estudo citado a seguir, os autores mostraram que o ajuste fino de modelos de linguagem em um ambiente few-shot reduz a necessidade de engenharia de prompts extensa e pode alcançar alta precisão em uma ampla gama de tarefas.^[2]
2. Melhor desempenho em diversas aplicações: o prompt few-shot demonstrou melhorias significativas em várias aplicações, desde classificação de texto até tradução automática e muito mais. Por exemplo, os autores do estudo citado a seguir propuseram o TransPrompt, um framework de prompts transferível que captura conhecimento entre tarefas, melhorando significativamente o desempenho em tarefas de classificação de texto few-shot.^[3]
3. Robustez para diferentes prompts: a robustez do prompt few-shot para diferentes formulações de prompts é outra vantagem importante. O Unified Prompt Tuning (UPT), conforme descrito por Feihu Jin et al., enriquece os prompts com informações específicas da tarefa e dependentes de instância, alcançando melhorias significativas no desempenho em várias tarefas de NLP.^[4]
4. Sobrecarga computacional reduzida: avanços recentes tornaram o prompt few-shot mais eficiente. Por exemplo, Lewis Tunstall et al. introduziu o SetFit, um framework eficiente para ajuste fino few-shot de transformadores de frases, que alcança alta precisão com significativamente menos parâmetros e tempo de treinamento reduzido em comparação com os métodos existentes.^[5]

Limitações

1. Dependência da qualidade dos prompts: a qualidade e o design dos prompts afetam significativamente o desempenho do prompt few-shot. A criação de prompts eficazes geralmente requer engenharia cuidadosa e conhecimento especializado no domínio. Os autores Timo Schick e colegas pesquisadores destacaram a variabilidade no desempenho devido à qualidade dos prompts, enfatizando a necessidade de tratamento inteligente de múltiplos prompts para obter resultados confiáveis.^[6]
2. Complexidade computacional: os grandes modelos de linguagem usados no prompt few-shot exigem recursos computacionais substanciais. Isso pode ser uma barreira para muitas organizações, limitando a acessibilidade desses modelos. Morteza Bahrami et al. observaram que modelos com um grande número de parâmetros exigem hardware poderoso, o que pode ser uma restrição para a adoção generalizada.^[1]
3. Desafio da generalização: generalizar prompts em diversas tarefas e conjuntos de dados continua sendo um desafio significativo. Embora o prompt few-shot possa ter um bom desempenho em tarefas específicas, garantir um desempenho consistente em diversas aplicações requer técnicas avançadas. Por exemplo, o estudo feito por Fehu Jin e colegas autores abordou essa questão em raciocínio numérico, aproveitando grandes quantidades de dados de treinamento para melhorar a generalização no aprendizado baseado em prompts.^[4]
4. Recursos limitados de zero-shot: embora o prompt few-shot se destaque com o mínimo de exemplos, seu desempenho em configurações zero-shot pode ser menos confiável. O estudo sobre os avanços no NER introduziu o QaNER, um método baseado em prompts para Named Entity Recognition que lida com as limitações dos recursos zero-shot, ao melhorar a robustez dos prompts.^[7]

Portanto, o prompt few-shot oferece benefícios substanciais em termos de eficiência, flexibilidade e desempenho em várias aplicações. No entanto, sua dependência da qualidade dos prompts, complexidade computacional, desafios na generalização e recursos limitados de zero-shot destacam as áreas onde são necessários mais avanços para maximizar seu potencial.

O prompt few-shot provou ser uma ferramenta versátil e poderosa, com diversos exemplos em várias aplicações, aproveitando os pontos fortes de grandes modelos de linguagem para executar tarefas complexas com exemplos limitados. É popular entre os casos de uso criativos de IA generativas, como criação de conteúdo ou aprendizado no contexto. Veja a seguir alguns casos de uso notáveis explicados detalhadamente:

Análise de sentimento
O prompt few-shot é particularmente útil na análise de sentimento, em que os modelos classificam o sentimento de um texto com dados rotulados limitados. A integração do prompt few-shot com correspondência semântica, conforme mostrado na figura 2, é um exemplo. Ela permite que os modelos classifiquem com precisão os sentimentos com base em exemplos relevantes de um armazenamento de vetores.^[1]

Reconhecimento de ação em vídeos
O prompt few-shot também foi aplicado ao reconhecimento de ação em vídeos. Yuheng Shi et al. introduziram o prompt de conhecimento, que aproveita o conhecimento de senso comum de recursos externos para o prompt de modelos de linguagem de visão. Esse método classifica efetivamente ações em vídeos com supervisão mínima, alcançando um desempenho de última geração e reduzindo significativamente a sobrecarga de treinamento.^[8]

Geração de diálogos fundamentados
Na geração de diálogos fundamentados, ou chatbots, o prompt few-shot fortalece os modelos de diálogo ao integrar fontes de informações externas. Esse estudo demonstrou que métodos de prompt few-shot podem melhorar significativamente o desempenho de modelos de diálogo, tornando-os mais coerentes e contextualmente relevantes.^[9]

Named Entity Recognition (NER)
O prompt few-shot pode aprimorar tarefas de Named Entity Recognition, ao fornecer exemplos que ajudam o modelo a reconhecer e classificar as entidades no texto. O autor do estudo citado a seguir desenvolveu um método de aprendizado few-shot baseado em prompt com reconhecimento de entidades para tarefas de resposta a perguntas, que pode ser adaptado para tarefas de NER, melhorando significativamente o desempenho do modelo.^[10]

Tarefas de geração de código
O prompt few-shot também é aplicável a tarefas relacionadas a código, como geração de asserções de teste e reparo de programas. Em seu estudo, Noor Nashid et al. desenvolveram uma técnica que recupera automaticamente demonstrações de código para criar prompts eficazes, mostrando melhorias substanciais na precisão da tarefa.^[11]

Esses casos de uso demonstram a ampla aplicabilidade e a eficácia do prompt few-shot em diferentes campos e tarefas, mostrando seu potencial para gerar inovação e eficiência em aplicações de IA e NLP.

O prompt few-shot representa um salto significativo em IA e NLP, oferecendo eficiência, flexibilidade e desempenho aprimorado com exemplos limitados. À medida que a tecnologia evolui, ele desempenhará um papel crucial em várias aplicações, gerando inovação e eficiência em vários campos.