O que é colapso dos modelos?

Um ditado comum no desenvolvimento da IA e ciência da computação é que um modelo de inteligência artificial (IA) é tão bom quanto os dados nos quais foi treinado. Nos últimos anos, pesquisadores descobriram que modelos generativos treinados exclusivamente com a saída de seus antecessores produzem resultados cada vez mais imprecisos. Esses modelos, assolados por "defeitos irreversíveis", acabam se tornando inúteis.¹ Isso ocorre porque quaisquer erros presentes na saída de um modelo durante seu ajuste são posteriormente incluídos no treinamento de seu sucessor. Em seguida, o novo modelo também produz seus próprios erros. O colapso dos modelos progride à medida que os erros são agravados com gerações sucessivas.²

Esses erros ocorrem porque os modelos de IA generativa produzem conjuntos de dados com menos variação do que as distribuições de dados originais. Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao e uma equipe de membros de universidades britânicas e canadenses escreveram um relatório amplamente citado sobre o colapso dos modelos. Por meio de experimentos em modelos de IA, a equipe descobriu que os modelos treinados em dados gerados por IA, também conhecidos como dados sintéticos, inicialmente perderam informações das caudas, ou extremos, da distribuição real dos dados — o que eles chamaram de “colapso inicial do modelo”. Em iterações dos modelos posteriores, a distribuição de dados convergiu tanto que não se parecia em quase nada com os dados originais — o que os pesquisadores chamaram de “colapso dos modelos tardios”.³

Em cenários do mundo real, o colapso dos modelos pode ocorrer devido aos processos de treinamento usados para grandes modelos de IA generativa, como grandes modelos de linguagem (LLMs ). Os LLMs são treinados principalmente em dados gerados por sres humanos extraídos da internet. No entanto, à medida que mais conteúdo gerado por IA se prolifera na web, mais ele pode ser usado para treinar modelos futuros em vez de dados gerados por humanos, podendo precipitar o colapso dos modelos.

O fenômeno do colapso dos modelos traz sérias ramificações para o desenvolvimento da IA, levando os pesquisadores a propor várias soluções. Essas soluções incluem rastrear a proveniência dos dados, preservar o acesso às fontes de dados originais e combinar dados acumulados gerados por IA com dados reais para treinar modelos de IA.

Os modelos de IA generativa ganharam as manchetes nos últimos anos por criarem saídas imprecisas e sem sentido, também chamadas de alucinações da IA. Por exemplo, o chatbot do Google Bard fez uma alegação errônea sobre o Telescópio Espacial James Webb, enquanto a tendência de imagens de seres humanos geradas por IA de possuírem dedos extras é onipresente.

Embora saídas imprecisas e sem sentido sejam inconvenientes e, às vezes, divertidas, as consequências do colapso dos modelos também podem ser abrangentes:

Saídas imprecisas decorrente do colapso dos modelos podem criar consequências onerosas para as empresas que usam a IA na tomada de decisões. Tudo, desde chatbots para atendimento ao cliente até ferramentas de diagnóstico médico impulsionado por IA, pode ser afetado. Imagine, por exemplo, um modelo de diagnóstico de IA que não consegue diagnosticar corretamente um paciente como portador de uma doença rara porque a condição de baixa probabilidade acabou sendo esquecida e removida dos conjuntos de dados de treinamento nas gerações anteriores do modelo.

Sob o colapso dos modelos, os modelos podem descartar pontos de dados discrepantes relacionados a interações e preferências humanas reais. Como resultado, os usuários que buscam conteúdo menos popular ou exclusivo podem ficar decepcionados com os resultados dos modelos.⁴ Considere, por exemplo, um sistema de recomendação de IA para compradores online: se um consumidor preferir sapatos verdes claros, mas o sistema continuamente recomendar sapatos pretos e brancos porque são os mais vendidos, o consumidor pode estar inclinado a procurar ajuda em outro lugar.

Se os sistemas de IA amplamente usados que estão passando pelo colapso dos modelos produzirem perpetuamente saídas mais estreitas, as ideias de “cauda longa” podem eventualmente desaparecer da consciência do público, limitando o escopo do conhecimento humano e exacerbando vieses comuns na sociedade.⁵ Por exemplo, os cientistas de hoje podem recorrer a ferramentas de pesquisa impulsionadas por IA para que os estudos informem suas pesquisas. No entanto, as ferramentas afetadas pelo colapso dos modelos podem fornecer apenas estudos amplamente citados para avaliação, podendo privar os usuários de informações-chave que poderiam levar a descobertas importantes.

Os diferentes tipos de modelos de IA generativa são vulneráveis a diferentes impactos do colapso dos modelos.

Nos LLMs, o colapso dos modelos pode se manifestar em saídas de texto cada vez mais irrelevantes, sem sentido e repetitivas. Em um experimento, os pesquisadores fizeram um ajuste fino do OPT-125M, um grande modelo de linguagem de código aberto lançado pela Meta. Gerações do modelo foram treinadas com os dados produzidos por seus antecessores. Após uma entrada inicial em inglês sobre arquitetura, uma geração de modelos acabou produzindo uma saída sobre lebres com caudas de cores diferentes.⁶

O colapso dos modelos é especialmente perceptível em modelos de geração de imagens, pois a saída das imagens diminui em qualidade, diversidade e precisão. Um experimento usou um conjunto de dados de números manuscritos distintos para treinar um autocodificador variacional (VAE). Depois de vários ciclos de treinamento iterativo, as gerações posteriores do modelo produziram saídas nas quais muitos dos dígitos se pareciam.⁷ Um estudo diferente que incluiu um modelo de rede adversária generativa (GAN) treinado em diversas imagens de rostos descobriu que o modelo acabou produzindo rostos mais homogêneos.⁸

Os modelos de mistura gaussiana podem organizar dados em clusters, mas os pesquisadores descobriram que um GMM encarregado de separar os dados em dois clusters teve um desempenho significativamente pior após algumas dezenas de iterações. A percepção do modelo sobre a distribuição dos dados subjacentes mudou com o tempo e, em sua 2.000ª geração de iteração, sua saída apresentou pouquíssima variância.⁹

O colapso dos modelos é um dos vários fenômenos de degradação dos modelos observados no aprendizado de máquina. Outros incluem esquecimento catastrófico, colapso do modo, desvio do modelo e previsão performativa. Cada um deles tem semelhanças com o colapso dos modelos, mas é distinto dele.

Tanto o esquecimento catastrófico quanto o colapso dos modelos envolvem informações perdidas pelos sistemas de IA. No entanto, o esquecimento catastrófico é distinto do colapso dos modelos. O esquecimento catastrófico ocorre quando um único modelo aprende novas informações e “esquece” informações anteriores, resultando em um desempenho degradado quando esse modelo é aplicado a uma tarefa que exige o uso das informações mais antigas. O colapso dos modelos é diferente porque implica o declínio do desempenho ao longo de gerações sucessivas de modelos, em vez de perda de dados e a deterioração do desempenho dentro de um modelo.¹⁰

Embora semelhante em nome ao colapso dos modelos, o colapso do modo é um fenômeno específico dos modelos GAN. Esses modelos consistem em duas partes diferentes (um gerador e um discriminador) que ajudam a produzir dados sintéticos estatisticamente semelhantes aos dados reais. O gerador é encarregado de criar os dados, enquanto o discriminador serve como uma verificação contínua do processo, identificando dados que parecem não ser autênticos. O colapso do modo ocorre quando a saída do gerador não tem variância, e essa falha não é detectada pelo discriminador, resultando em desempenho degradado.

O desvio do modelo refere-se à degradação do desempenho do modelo de aprendizado de máquina devido a mudanças nos dados ou nas relações entre variáveis de entrada e saída. Modelos que são construídos com dados históricos podem se tornar estagnados. Se o treinamento de um modelo de IA, baseado em dados de treinamento antigos, não estiver alinhado com os dados recebidos, ele não poderá interpretar esses dados com precisão nem usar esses dados recebidos para fazer previsões confiáveis. O colapso dos modelos é diferente porque envolve o treinamento de modelos em dados novos gerados por IA em ciclos iterativos.

Pesquisadores compararam o colapso dos modelos em modelos de IA generativa à previsão performativa em modelos de aprendizado supervisionado porque ambos envolvem a poluição de conjuntos de treinamento por entradas anteriores do modelo de aprendizado de máquina. A previsão performativa ocorre quando a saída de um modelo de aprendizado supervisionado influencia os resultados do mundo real de uma forma que está de acordo com a previsão do modelo. Isso, por sua vez, influencia as saídas futuras dos modelos, produzindo uma “profecia autorrealizável”. A previsão performativa também é conhecida como um ciclo de feedback de justiça quando esse processo enraíza a discriminação.¹¹ Por exemplo, um modelo de tomada de decisões de empréstimo imobiliário impulsionado por IA, treinado com dados da era discriminatória de "redlining" dos EUA, pode encorajar os credores a replicar inadvertidamente essa discriminação hoje.

Várias estratégias podem ajudar os desenvolvedores de IA e as organizações a evitar o colapso dos modelos. São elas:

• Retenção de fontes de dados que não sejam de IA
• Determinação da procedência de dados
• Aproveitamento do acúmulo de dados
• Uso de dados sintéticos melhores
• Implementação de ferramentas de governança de dados

Fontes de dados originais de alta qualidade podem fornecer uma variância importante que pode estar faltando em alguns dados gerados por IA. Garantir que os modelos de IA ainda sejam treinados com esses dados gerados por seres humanos pode preservar a capacidade dos sistemas de IA de terem um bom desempenho quando encarregados de levar em conta eventos de baixa probabilidade, como um consumidor preferindo um produto incomum ou um cientista se beneficiando de informações em um estudo raramente citado. Nessas circunstâncias, uma saída resultante pode não ser comum ou popular, mas ainda é, de fato, mais precisa.

Pode ser difícil diferenciar entre dados gerados por modelos e dados gerados por seres humanos em ecossistemas de informações, mas a coordenação entre desenvolvedores de LLMs e pesquisadores de IA pode ajudar a garantir o acesso a informações sobre a procedência dos dados. Um desses esforços coordenados existe por meio da The Data Provenance Initiative, um coletivo de pesquisadores de IA do MIT e de outras universidades que auditou mais de 4.000 conjuntos de dados.¹²

De acordo com um estudo, os desenvolvedores de IA podem evitar a degradação do desempenho ao treinar modelos de IA com dados reais e várias gerações de dados sintéticos. Esse acúmulo contrasta com a prática de substituir totalmente os dados originais por dados gerados por IA.¹³

Conforme os desenvolvedores de IA exploram o acúmulo de dados, eles também podem se beneficiar de melhorias na qualidade dos dados sintéticos produzidos especificamente para fins de treinamento de aprendizado de máquina. Os avanços nos algoritmos de geração de dados podem ajudar a melhorar a confiabilidade dos dados sintéticos e aumentar sua utilidade. Na área da saúde, por exemplo, os dados sintéticos podem até mesmo ser usados para fornecer uma gama mais ampla de cenários para modelos de treinamento, levando a melhores recursos de diagnóstico.

As ferramentas de governança de IA podem ajudar os desenvolvedores de IA e as empresas a mitigar o risco de queda no desempenho da IA, ao capacitar a supervisão e o controle sobre os sistemas de IA. Essas ferramentas podem incluir sistemas de detecção automática de viés, desvio, desempenho e anomalias, podendo detectar o colapso dos modelos antes que afete o lucro de uma organização.