A flexibilidade dos modelos de transformação, como o GPT, os torna úteis para uma ampla gama de casos de uso. A capacidade do GPT de fornecer geração de texto semelhante à humana o torna uma escolha generalizada para:

• Chatbots e assistentes de voz
• Criação de conteúdo e geração de texto
• Tradução de idiomas
• Resumo e conversão de conteúdo
• Análise de dados
• Codificação
• Setor de saúde

Os chatbots que usam o GPT podem parecer mais humanos do que as opções padrão de atendimento ao cliente automatizado. Por meio de APIs, as organizações podem vincular o GPT a aplicativos de voz para criar assistentes de voz capazes de responder a declarações mais complexas e fornecer serviços de resposta a perguntas conversacionais.

Com prompts eficazes, os modelos GPT podem gerar conteúdo de texto que varia de uma cópia curta de redes sociais a posts de blogs e e-mails completos. Além disso, os escritores podem usar GPTs para delinear ou idealizar conteúdo que eles mesmos escrevem, simplificando os fluxos de trabalho de criação de conteúdo.

Usar o GPT para gerar conteúdo diretamente para publicação pode levar a preocupações com propriedade intelectual, um dos principais riscos do uso do GPT.

Os aplicativos baseados em GPT podem traduzir idiomas em tempo real a partir de fontes escritas e de áudio. Em uma demonstração ao vivo³, o GPT-4o demonstrou capacidade de traduzir em tempo real por conta própria.

O GPT pode processar e resumir documentos longos, como declarações legais ou relatórios comerciais. Ele também pode reescrever o conteúdo no estilo especificado pelo usuário. Por exemplo, um usuário pode fornecer um relatório trimestral como dados de entrada e, em seguida, solicitar que ele seja resumido em marcadores inteligentes.

O GPT pode processar grandes volumes de dados em insights digeríveis. Por meio de APIs, outros aplicativos podem usar o GPT para criar tabelas, gráficos e outros tipos de visualizações de dados. As organizações que alimentam dados internos no GPT podem se expor a violações de na segurança cibernética ou violar regulamentos de proteção de dados.

Os modelos GPT podem aprender linguagens de programação e gerar fragmentos de código. Os usuários geralmente obtêm melhores resultados quando tratam o GPT como um assistente de programação, em vez de pedir que ele crie aplicativos completos a partir do zero. Todo o conteúdo gerado pelo GPT, inclusive código, deve ser revisado antes do uso para garantir a precisão e o uso justo.

Em fevereiro de 2024, a US National Library of Medicine (link externo a ibm.com) publicou um artigo descrevendo possíveis aplicações do GPT na área de saúde. Isso inclui acesso consistente para pacientes em áreas remotas, bem como opções de atendimento personalizado. No entanto, o documento também aborda uma série de desvantagens, como questões de privacidade e limitações de conhecimento.

Os modelos GPT funcionam analisando uma sequência de inputs e aplicando matemática complexa para prever a produção mais provável. Ele usa probabilidade para identificar a melhor próxima palavra possível em uma frase, com base em todas as palavras anteriores. Como um tipo de tecnologia de IA de deep learning, os GPTs podem processar prompts de linguagem natural para gerar respostas de texto relevantes e semelhantes às humanas.

Quando um usuário insere um prompt baseado em texto, o GPT cria a resposta mais provável com base em seus dados de treinamento, que incluem bilhões de fontes de dados de texto disponíveis publicamente, desde obras literárias famosas até código fonte aberto.

A vastidão de seus conjuntos de dados de treinamento é a forma como o GPT é capaz de imitar capacidades de compreensão da linguagem semelhantes às humanas. Modelos de GPT em grande escala aplicam deep learning ao contexto do processo e extraem conhecimento do texto relevante em seus dados de treinamento para prever a resposta ideal.

O poder dos modelos GPT vem de dois aspectos importantes:

• Pré-treinamento generativo, que ensina o modelo a detectar padrões em dados não rotulados e, em seguida, aplicar esses padrões a novos inputs.

• Uma arquitetura de transformação, que permite que o modelo processe todas as partes de uma sequência de inputs em paralelo.

O pré-treinamento generativo é o processo de treinar um grande modelo de linguagem em dados não rotulados, ensinando o modelo a reconhecer vários dados e aprimorando sua capacidade de criar previsões precisas. Os GPTs geram novos dados aplicando os padrões e a estrutura dos seus dados de pré-treinamento aos inputs do usuário.

Pré-treinamento generativo é uma forma de aprendizado não supervisionado, onde o modelo é alimentado com dados não rotulados e forçado a entendê-los por conta própria. Aprendendo a detectar padrões em conjuntos de dados não rotulados, os modelos de aprendizado de máquina adquirem a capacidade de tirar conclusões semelhantes quando expostos a novos inputs, como um prompt do usuário no ChatGPT.

Os modelos GPT são treinados com bilhões ou até trilhões de parâmetros: variáveis internas que um modelo refina durante o processo de treinamento e que determinam como ele se comporta. Embora a OpenAI ainda não tenha revelado detalhes precisos sobre o GPT-4, estima-se que o modelo contenha aproximadamente 1,8 trilhão de parâmetros⁴, um aumento de mais de dez vezes em relação ao GPT-3.5.

Modelos de transformação são um tipo de rede neural especializada em processamento de linguagem natural: identificar a intenção e o significado em um input baseado em texto. Eles podem processar dinamicamente os inputs e se concentrar nas palavras mais importantes, independentemente de onde estejam na frase.

Os modelos GPT não entendem a linguagem da mesma forma que os humanos. Em vez disso, eles processam as palavras em unidades discretas chamadas tokens, sendo que algumas palavras são divididas em vários tokens. Ao avaliar todos os tokens de uma só vez, os transformadores são excelentes para estabelecer dependências de longo alcance: relações entre tokens distantes. O GPT se baseia em sua compreensão das dependências de longo alcance para processar as entradas contextualmente.

Os modelos de transformação processam dados com dois módulos conhecidos como codificadores e decodificadores, enquanto usam mecanismos de autoatenção para estabelecer dependências e relacionamentos.

Desde o lançamento do GPT em 2018, a OpenAI permaneceu na vanguarda de todas as conversas sobre IA generativa. Além de seu principal produto, o ChatGPT, a empresa também buscou a geração de imagens com o DALL-E, bem como vídeo generativo por meio do Sora.

A OpenAI lança seu primeiro modelo GPT. Seu desempenho foi impressionante para a época, servindo como uma prova de conceito para o que os desenvolvimentos posteriores alcançariam. O GPT-1 conseguiu responder a perguntas de forma humana e responder a solicitações de geração de texto, destacando seus casos de uso futuros em chatbots e criação de conteúdo.

O GPT-1 era comparativamente propenso a alucinações ou confabulações, onde apresentava informações incorretas como se fossem factuais. Suas respostas indicavam que a OpenAI ainda não havia aprimorado a capacidade do GPT de identificar dependências de longo alcance e reunir respostas precisas de formato longo.

O próximo modelo da OpenAI contava com 1,5 bilhão de parâmetros, melhorando seu desempenho. O GPT-2 teve mais sucesso do que seu antecessor quando se tratava de manter a coerência em respostas mais longas, sugerindo que sua detecção de dependências de longo alcance estava muito mais estabelecida.

O GPT-2 foi lançado em etapas, com vários modelos de capacidade limitada disponibilizados antes da versão completa. Em uma declaração⁵, a OpenAI explicou o lançamento escalonado como necessário para a necessidade de mitigar o possível uso indevido e outras preocupações éticas. A OpenAI citou como o modelo pode ser usado para se passar por outras pessoas online, gerar notícias enganosas e automatizar conteúdo de cyberbullying e phishing.

Embora o CEO da OpenAI, Sam Altman, tenha repetidamente feito apelos públicos para a regulamentação governamental da IA, a empresa também fez lobby privado para tornar a Lei de IA da UE menos restritiva⁶. A redação final da legislação, aprovada pelo Parlamento Europeu em junho de 2024, parecia estar alinhada com as recomendações da empresa.

Com 175 bilhões de parâmetros (mais de cem vezes o número de seu antecessor), o GPT-3 emergiu como um dos maiores LLMs da época. Os recursos da empresa superavam em muito os dos modelos anteriores de sua linhagem. A versão gratuita do ChatGPT ainda é alimentada pelo GPT-3.5, a versão mais atual do GPT-3.

Embora o desempenho do GPT-3 refletisse sua potência e tamanho adicionais, suas demandas de treinamento também dispararam. Os recursos de computação e energia necessários para treinar LLMs tão grandes geraram preocupação em relação às pegadas de carbono e água⁷. Em resposta, a OpenAI desenvolveu novos métodos de treinamento que aumentaram a eficiência do processo de treinamento.

A versão atual do GPT é a mais poderosa da OpenAI até agora, superando seus antecessores em qualidade de conteúdo e prevenção de vieses. Ela está por trás da versão premium do ChatGPT, oferecendo aos assinantes maior funcionalidade e desempenho em relação à versão gratuita impulsionada pelo GPT-3.5 do serviço.

No entanto, é também o modelo com uso mais intenso de recursos da família GPT, com uma estimativa precificando os custos operacionais diários em US$ 700.000⁸. À medida que os LLMs continuam a crescer, persistem debates sobre os custos versus benefícios potenciais. Um relatório emitido pela Goldman Sachs em junho de 2024⁹ se concentrou nos casos de uso potencialmente limitados da IA generativa, em comparação com os custos crescentes de treinamento e manutenção dos modelos.

O GPT-4 Turbo, iteração atual do modelo, tem como data limite de conhecimento abril de 2023. Isso significa que seus dados de treinamento ou base de conhecimento não cobrem nenhum conteúdo online lançado após esse ponto.

Lançado em maio de 2024, o GPT-4o é multilíngue, sendo compatível com conteúdo em vários idiomas além do inglês. Também é multimodal, capaz de processar solicitações de imagens, áudio e vídeos enquanto gera texto, imagens e conteúdo de áudio em resposta. De acordo com a OpenAI, o GPT-4o é 50% mais barato e duas vezes mais rápido¹⁰ na geração de texto do que o GPT-4 Turbo.

Embora os GPTs e outros modelos de IA generativa tenham sido amplamente celebrados na mídia, seu uso não é isento de riscos. As organizações e os indivíduos que desejam incorporar os GPTs a seus fluxos de trabalho devem estar cientes dos possíveis riscos, incluindo:

• Privacidade e confidencialidade de dados

• Violações de propriedade intelectual e conflitos de propriedade

• Produção imprecisa

• Viés do modelo

Todos os dados inseridos no GPT estão disponíveis para uso no processamento de outras consultas e podem ser usados pela OpenAI para treinar outros modelos. Isso não apenas representa um risco de segurança para os dados confidenciais, mas também coloca as organizações em risco de violar as obrigações contratuais e legais de proteção de dados.

A OpenAI treina seus modelos em materiais protegidos por direitos autorais. Embora a empresa defenda essa escolha como uso justo, ela foi sujeita a ações legais, incluindo uma ação judicial do The New York Times¹¹ , impetrada em dezembro de 2023. A produção gerada por IA pode conter conteúdo protegido por direitos autorais, e seu uso pode violar restrições de direitos autorais se não for examinada e editada por seres humanos com antecedência.

A OpenAI também foi criticada quando uma de suas vozes do ChatGPT foi supostamente baseada na da atriz Scarlett Johansson,¹², que estrelou como a voz de uma IA futurista no filme Her, de 2013. Desde então, a OpenAI deixou de usar essa voz específica em seus produtos.

Não é garantido que a produção gerada pelo GPT esteja correta. Os modelos de IA generativa estão sujeitos a alucinações ou confabulações de IA, nas quais seus algoritmos detectam padrões nos dados que não existem. As confabulações fazem com que os modelos produzam conteúdo impreciso que é apresentado ao usuário como se fosse um fato confiável. Essa tendência em relação ao ChatGPT foi explorada detalhadamente em um artigo de 2024 de Hicks e outros¹³.

O viés do modelo é uma divergência entre as previsões de um modelo com base em seus dados de treinamento e o que acontece no mundo real. O GPT é treinado com base em enormes quantidades de dados da internet e, como esse conteúdo é criado por pessoas, pode conter visualizações discriminatórias — às vezes intencionais, frequentemente não. Conforme a IA se integra ao policiamento, à saúde e a outras áreas da vida cotidiana, os vieses da IA podem resultar em consequências no mundo real.