O que é aprendizado supervisionado?

Os conjuntos de dados rotulados consistem em pontos de dados de amostra juntamente com as saídas ou respostas corretas. À medida que os dados de entrada são alimentados no algoritmo de aprendizado de máquina, ele ajusta seus parâmetros até que o modelo tenha sido ajustado adequadamente. Os dados de treinamento rotulados fornecem uma "verdade fundamental", ensinando explicitamente o modelo a identificar as relações entre funcionalidades e rótulos de dados.

O aprendizado de máquina supervisionado ajuda as organizações a solucionar vários problemas do mundo real em escala, como a classificação de spam ou a previsão de preços de ações. Ele pode ser usado para criar modelos de aprendizado de máquina altamente precisos.

Os dados da verdade fundamental são verificados em relação aos resultados do mundo real, geralmente por meio de anotação ou medição humana, e são usados para treinar, validar e testar modelos. Como o nome implica, os dados da verdade fundamental foram confirmados como verdadeiros — eles refletem valores e resultados do mundo real. A verdade fundamental reflete as saídas ideais para quaisquer dados de entrada.

O aprendizado supervisionado se baseia em dados de verdade fundamental para ensinar a um modelo as relações entre entradas e saídas. Os conjuntos de dados rotulados usados no aprendizado supervisionado são dados de verdade fundamental. Os modelos treinados aplicam seu entendimento desses dados para fazer previsões baseadas em dados novos não vistos.

As técnicas de aprendizado supervisionado usam um conjunto de dados de treinamento rotulado para entender as relações entre entradas e dados de saída. Cientistas de dados criam manualmente conjuntos de dados de treinamento de verdade fundamental contendo dados de entrada junto com os rótulos correspondentes. O aprendizado supervisionado treina o modelo para aplicar as saídas corretas a dados não vistos em casos de uso do mundo real. 

Durante o treinamento, o algoritmo do modelo processa grandes conjuntos de dados para explorar possíveis correlações entre entradas e saídas. Em seguida, o desempenho do modelo é avaliado com dados de teste para descobrir se ele foi treinado com sucesso. A validação cruzada é o processo de testar um modelo usando uma parte diferente do conjunto de dados. 

A família de algoritmos de gradiente descendente, incluindo o gradiente descendente estocástico (SGD), são os algoritmos de otimização, ou algoritmos de aprendizado, mais comumente usados ao treinar redes neurais e outros modelos de aprendizado de máquina. O algoritmo de otimização do modelo avalia a exatidão por meio da função de perda: uma equação que mede a discrepância entre as previsões do modelo e os valores reais. 

A função de perda mede o quanto as previsões estão distantes dos valores reais. Seu gradiente indica a direção na qual os parâmetros do modelo devem ser ajustados para reduzir o erro. Durante o treinamento, o algoritmo de otimização atualiza os parâmetros do modelo (suas regras operacionais, ou "configurações") para otimizar o modelo.

Como grandes conjuntos de dados normalmente contêm muitas funcionalidades, os cientistas de dados podem simplificar essa complexidade por meio da redução da dimensionalidade. Essa técnica de ciência de dados reduz o número de funcionalidades para as mais cruciais para prever os rótulos de dados, o que preserva a exatidão e aumenta a eficiência.

Como exemplo de aprendizado supervisionado, considere um modelo de classificação de imagens criado para reconhecer imagens de veículos e determinar que tipo de veículo elas representam. Esse modelo pode alimentar os testes CAPTCHA que muitos sites usam para detectar bots de spam. 

Para treinar esse modelo, os cientistas de dados preparam um conjunto de dados de treinamento rotulados contendo vários exemplos de veículos junto com o tipo de veículo correspondente: carro, motocicleta, caminhão, bicicleta etc. O algoritmo do modelo tenta identificar os padrões nos dados de treinamento que fazem com que uma entrada (imagem de veículo) receba uma saída designada (tipo de veículo). 

As suposições do modelo são medidas em relação aos valores reais dos dados em um conjunto de testes para determinar se ele fez previsões exatas. Caso contrário, o ciclo de treinamento continua até que o desempenho do modelo atinja um nível satisfatório de exatidão. O princípio da generalização refere-se à capacidade de um modelo de fazer previsões apropriadas sobre novos dados da mesma distribuição que seus dados de treinamento.

As tarefas de aprendizado supervisionado podem ser divididas de forma ampla em problemas de classificação e regressão:

A classificação no aprendizado de máquina usa um algoritmo para classificar os dados em categorias. Ela reconhece entidades específicas dentro do conjunto de dados e tenta determinar como essas entidades devem ser rotuladas ou definidas. Algoritmos de classificação comuns são: classificadores lineares, máquinas de vetores de suporte (SVM), árvores de decisão, k-vizinhos mais próximos (KNN), regressão logística e floresta aleatória.

As redes neurais são excelentes para lidar com problemas complexos de classificação. Uma rede neural é uma arquitetura de deep learning que processa dados de treinamento com camadas de nós que imitam o cérebro humano. Cada nó é composto por entradas, pesos, um viés (ou limite) e uma saída. Se um valor de saída exceder um limite predefinido, o nó "dispara", ou é ativado, passando os dados para a próxima camada da rede. 

A regressão é utilizada para entender a relação entre variáveis dependentes e independentes. Nos problemas de regressão, a saída é um valor contínuo, e os modelos tentam prever a saída desejada. As tarefas de regressão incluem projeções de receita de vendas ou planejamento financeiro.

Três exemplos de algoritmos de regressão são regressão linear, regressão de lasso, regressão de Ridge.

O aprendizado em conjunto é uma meta-abordagem do aprendizado supervisionado no qual vários modelos são treinados na mesma tarefa de classificação ou regressão. Os resultados de todos os modelos no pool são agregados para descobrir a melhor abordagem geral para resolver o desafio.

Os algoritmos individuais dentro do modelo de conjunto maior são conhecidos como aprendizes fracos ou modelos básicos. Alguns aprendizes fracos têm alto viés, enquanto outros têm alta variância. Em teoria, os resultados mitigam a troca entre viés e variância ao combinar as melhores partes de cada um.

Os algoritmos de otimização, como o gradiente descendente, treinam uma ampla gama de algoritmos de aprendizado de máquina que se destacam em tarefas de aprendizado supervisionado. 

• Naive Bayes: o Naive Bayes é um algoritmo de classificação que adota o princípio da independência condicional de classe do teorema de Bayes. Isso significa que a presença de uma funcionalidade não interfere na presença de outra na probabilidade de uma saída, e cada previsor exerce o mesmo efeito nesse resultado.

  Os classificadores Naive Bayes incluem multinomial, Bernoulli e Naive Bayes gaussiano. Essa técnica é frequentemente usada em sistemas de classificação de texto, identificação de spam e recomendações. 

• Regressão linear: a regressão linear é utilizada para identificar a relação entre uma variável dependente contínua e uma ou mais variáveis independentes. Normalmente, é usada para fazer previsões sobre resultados futuros.

  A regressão linear expressa a relação entre as variáveis como uma linha reta. Quando há uma variável independente e uma dependente, isso é chamado de regressão linear simples. À medida que o número de variáveis independentes aumenta, a técnica é chamada de regressão linear múltipla. 

• Regressão não linear: às vezes, uma saída não pode ser reproduzida a partir de entradas lineares. Nesses casos, as saídas devem ser modeladas com uma função não linear. A regressão não linear expressa uma relação entre variáveis por meio de uma linha não linear, ou curva. Modelos não lineares podem lidar com relacionamentos complexos com muitos parâmetros. 

• Regressão logística: a regressão logística lida com variáveis dependentes categóricas — quando têm saídas binárias, como verdadeiro ou falso ou positivo ou negativo. Enquanto os modelos de regressão linear e logística buscam entender relações entre entradas de dados, a regressão logística é usada principalmente para resolver problemas de classificação binária, como a identificação de spam. 

• Regressão polinomial: semelhante a outros modelos de regressão, a regressão polinomial modela uma relação entre variáveis em um gráfico. As funções utilizadas na regressão polinomial expressam essa relação por meio de um grau exponencial. A regressão polinomial é um caso especial de regressão em que as funcionalidades de entrada são elevadas às potências, permitindo que modelos lineares se ajustem a padrões não lineares. 

• Máquina de vetores de suporte (SVM): uma máquina de vetores de suporte é usada para classificação de dados e regressão. Dito isso, ele geralmente lida com problemas de classificação. Aqui, a SVM separa as classes de pontos de dados com um limite de decisão ou hiperplano. O objetivo do algoritmo da SVM é plotar o hiperplano que maximize a distância entre os grupos de pontos de dados. 

• K-vizinho mais próximo: o k-vizinho mais próximo (KNN) é um algoritmo não paramétrico que classifica os pontos de dados com base em sua proximidade e associação com outros dados disponíveis. Esse algoritmo pressupõe que pontos de dados semelhantes podem ser encontrados próximos uns dos outros quando plotados matematicamente.

  Sua facilidade de uso e o baixo tempo de cálculo o tornam eficiente ao ser usado em mecanismos de recomendação e reconhecimento de imagens. Mas, à medida que o conjunto de dados de teste cresce, o tempo de processamento aumenta, tornando-o menos atraente para tarefas de classificação. 

• Floresta aleatória: uma floresta aleatória é um algoritmo flexível de aprendizado de máquina supervisionado usado para fins de classificação e regressão. A "floresta" faz referência a uma coleção de árvores de decisão não correlacionadas que são mescladas para reduzir a variância e aumentar a exatidão. 

O aprendizado supervisionado não é o único método de aprendizado para treinar modelos de aprendizado de máquina. Outros tipos de aprendizado de máquina incluem: 

• Aprendizado não supervisionado

• Aprendizado semissupervisionado 

• Aprendizado autossupervisionado

• Aprendizado por reforço 

A diferença entre o aprendizado supervisionado e o aprendizado não supervisionado é que o aprendizado de máquina não supervisionado usa dados não rotulados sem qualquer verdade fundamental. O modelo é deixado para descobrir padrões e relacionamentos nos dados por conta própria. Muitos modelos de IA generativa são inicialmente treinados com aprendizado não supervisionado e, posteriormente, com aprendizado supervisionado, para aumentar o conhecimento especializado no domínio. 

O aprendizado não supervisionado pode ajudar a resolver problemas de agrupamento ou associação nos quais as propriedades comuns em um conjunto de dados são incertas. Algoritmos comuns de agrupamento são os modelos hierárquico, k-means e de mistura gaussiana.

• Análise exploratória: o aprendizado não supervisionado é útil quando “o que procurar” não é conhecido. Ele encontra estruturas ocultas ou anomalias nos dados que os seres humanos não podem esperar.

• Nenhuma rotulagem de dados: a maioria dos dados do mundo real não é rotulada, e rotular dados exige muito tempo e esforço.

• Flexibilidade: modelos de aprendizado não supervisionado podem se adaptar rapidamente a novos dados devido à sua capacidade de processar dados de forma autônoma.

• Escalabilidade: sem a necessidade de rótulos de verdade fundamental, as técnicas de aprendizado não supervisionado são facilmente escaláveis para conjuntos de dados maciços.

• Resultados imprecisos: sem a base da verdade fundamental, fica menos claro se um modelo de aprendizado não supervisionado foi treinado corretamente.

• Sensibilidade: conjuntos de dados ruidosos podem afetar adversamente os resultados do treinamento. A engenharia de funcionalidades pode ajudar a normalizar conjuntos de dados para um aprendizado não supervisionado mais tranquilo.

• Dependência de bons dados: todo treinamento precisa de bons dados. Mas, sem qualquer verdade fundamental, o viés ou outros erros nos dados podem resultar em modelos que reforçam esses mal-entendidos.

O aprendizado semissupervisionado envolve o treinamento de um modelo em uma pequena parte dos dados de entrada rotulados juntamente com uma parte maior de dados não rotulados. Como pode ser demorado e custoso confiar em conhecimento especializado do domínio para rotular dados adequadamente para o aprendizado supervisionado, o aprendizado semissupervisionado pode ser uma alternativa atraente.

• Menos dependente de rotulagem: em comparação com o aprendizado supervisionado, o aprendizado semissupervisionado requer menos rotulagem, o que reduz as barreiras de entrada para o treinamento de modelos.
   

• Descoberta de padrões ocultos: como o aprendizado não supervisionado, o uso de dados não rotulados pelo aprendizado semissupervisionado pode levar à descoberta de padrões, relações e anomalias que poderiam passar despercebidos.
   

• Mais flexível: o aprendizado semissupervisionado cria uma base por meio de dados de verdade fundamental e, em seguida, aumenta essa base com conjuntos de dados não rotulados para tornar os modelos mais generalizáveis.

• Sensibilidade ao ruído: conjuntos de dados não rotulados com altos graus de ruído podem atrapalhar os resultados do treinamento, enfraquecendo o desempenho do modelo.
   

• Sensibilidade de viés: se os conjuntos de dados não rotulados não forem rastreados para viés implícito, esses vieses podem ser transferidos para os modelos que estão sendo treinados.
   

• Mais complexo: reunir dados rotulados e não rotulados em um único processo de treinamento pode envolver técnicas de processamento de dados complexas ou exigir mais recursos computacionais.

O aprendizado autossupervisionado (SSL) é frequentemente descrito como uma ponte entre o aprendizado supervisionado e não supervisionado. Em vez de usar os rótulos criados manualmente dos conjuntos de dados de aprendizado supervisionado, as tarefas de SSL são configuradas de modo que o modelo possa gerar seus próprios sinais de supervisão (implícitos ou pseudo-rótulos) e discernir a verdade fundamental dos dados não estruturados. Em seguida, a função de perda do modelo usa esses rótulos no lugar dos rótulos reais para avaliar o desempenho do modelo.

O SSL é frequentemente usado com aprendizado por transferência, um processo no qual um modelo pré-treinado é aplicado a uma tarefa posterior. O aprendizado autossupervisionado é amplamente utilizado em tarefas de computer vision e processamento de linguagem natural (NLP), que exigem grandes conjuntos de dados que são proibitivamente caros e demorados para rotular.

• Eficiência: em vez de fazer com que os cientistas de dados rotulem pontos de dados, o SSL automatiza o processo de rotulagem ao transferir a tarefa para o modelo.

• Escalabilidade: a menor dependência do SSL da rotulagem manual de dados facilita o escalonamento de conjuntos maiores de dados não rotulados.
   

• Baixa dependência de rotulagem: nos casos em que os dados rotulados de verdade fundamental são esparsos, o SSL compensa a falta por meio da compreensão gerada pelo modelo.
   

• Versatilidade: os modelos autossupervisionados aprendem funcionalidades ricas e transferíveis, que podem ser ajustadas para muitas tarefas multimodais e específicas do domínio.

• Uso intenso de computação: processar conjuntos de dados não rotulados e gerar rótulos exige muito poder de computação.
   

• Complexo: o processo de criação de tarefas de pretexto para aprendizado supervisionado (a fase inicial d0 aprendizado) requer um alto grau de especialização.
   

• Potencialmente não confiável: como qualquer técnica de aprendizado que remove a supervisão humana, os resultados dependem de os dados estarem livres de excesso de ruído, viés implícito e outros fatores que podem afetar negativamente a compreensão do modelo.

O aprendizado por reforço treina agentes autônomos, como robôs e carros autônomos, a tomar decisões por meio de interações ambientais. O aprendizado por reforço não usa dados rotulados e também difere do aprendizado não supervisionado porque ensina por tentativa e erro e recompensa, não identificando padrões subjacentes em conjuntos de dados.

• Resolve tarefas complexas: o processo de treinamento por tentativa e erro pode levar um modelo a descobrir como abordar desafios estratégicos complexos.
   

• Não depende de rotulagem: os modelos aprendem com a experiência, não teoricamente por meio da correspondência de entradas com saídas.
   

• Autocorreção: os modelos aprimoram seu próprio comportamento à medida que erram durante o treinamento.
   

• Adaptável: os modelos podem se adaptar a novas informações e circunstâncias em mudança em que os resultados não são predefinidos.

• Propenso a resultados inconsistentes: o aprendizado por tentativa e erro pode parecer aleatório e imprevisível, especialmente no início do treinamento.
   

• Necessidades de dados ambientais: o aprendizado por reforço exige que os modelos aprendam com as consequências de suas ações, o que, por sua vez, exige grandes quantidades de dados ambientais. No entanto, os agentes também podem aprender em ambientes simulados.
   

• Hacking de recompensas: os modelos podem realizar exploração de brechas no algoritmo de recompensas para gerar recompensas sem realizar adequadamente suas tarefas.
   

• Específico da tarefa: o aprendizado por reforço se destaca no treinamento de modelos para uma função específica. Esses modelos podem ter dificuldades para transferir o que aprenderam para novas tarefas.

Os modelos de aprendizado supervisionado podem criar e aprimorar aplicações de negócios, incluindo: 

• Reconhecimento de imagens e objetos: algoritmos de aprendizado supervisionado podem ser usados para localizar, isolar e categorizar objetos de vídeos ou imagens, tornando-os úteis em tarefas de computer vision e análise de imagens. 

• Análise preditiva de dados: modelos de aprendizado supervisionado criam sistemas de análise preditiva de dados para fornecer insights. Isto permite que as empresas prevejam resultados com base em uma variável de saída e tomem decisões baseadas em dados, o que, por sua vez, ajuda os líderes empresariais a justificar suas escolhas ou mudá-las em benefício da organização.

  A regressão também permite que os prestadores de serviços de saúde prevejam resultados com base em critérios do paciente e dados históricos. Um modelo preditivo pode avaliar o risco de um paciente ter uma doença ou condição específica com base em seus dados biológicos e de estilo de vida. 

• Análise de sentimentos do cliente: as organizações podem extrair e classificar informações importantes de grandes volumes de dados (incluindo contexto, emoção e intenção) com intervenção humana mínima. A análise de sentimentos proporciona uma melhor compreensão das interações com os clientes e pode ser usada para melhorar os esforços de engajamento da marca. 

• Segmentação de clientes: modelos de regressão podem prever o comportamento do cliente com base em várias características e tendências históricas. As empresas podem usar modelos preditivos para segmentar sua base de clientes e criar personas de compradores para melhorar os esforços de marketing e o desenvolvimento de produtos. 

• Detecção de spam: a detecção de spam é outro exemplo de um modelo de aprendizado supervisionado. Usando algoritmos de classificação supervisionada, as organizações podem treinar bancos de dados para reconhecer padrões ou anomalias em novos dados e organizar eficientemente correspondências relacionadas e não relacionadas a spam. 

• Forecasting: os modelos regressivos se destacam no forecasting com base em tendências históricas, tornando-os adequados para uso nos setores financeiros. As empresas também podem usar a regressão para prever necessidades de inventário, estimar os salários dos funcionários e evitar possíveis contratempos na cadeia de suprimentos. 

• Mecanismos de recomendação: dom modelos de aprendizado supervisionado implementados, provedores de conteúdo e mercados online podem analisar as escolhas, preferências e compras do cliente e criar mecanismos de recomendação que oferecem recomendações personalizadas com maior probabilidade de conversão.

Embora o aprendizado supervisionado possa oferecer vantagens às empresas, como insight de dados aprofundados e maior automação, ele pode não ser a melhor opção para todas as situações. 

• Limitações de pessoal: modelos de aprendizado supervisionado podem exigir certos níveis de conhecimento especializado para serem estruturados com precisão. 

• Envolvimento humano: os modelos de aprendizado supervisionado são incapazes de autoaprendizado. Os cientistas de dados devem validar a saída do desempenho dos modelos. 

• Requisitos de tempo: os conjuntos de dados de treinamento são grandes e devem ser rotulados manualmente, o que torna o processo de aprendizado supervisionado demorado. 

• Inflexibilidade: os modelos de aprendizado supervisionado têm dificuldades para rotular dados fora dos limites de seus conjuntos de dados de treinamento. Um modelo de aprendizado não supervisionado pode ser mais capaz de lidar com novos dados. 

• Viés: conjuntos de dados correm o risco de uma maior probabilidade de erro humano e viés, resultando no aprendizado incorreto dos algoritmos.  O viés pode surgir de conjuntos de dados de treinamento desequilibrados, práticas de anotação ruins ou desigualdades históricas refletidas nos dados.

• Overfitting: o aprendizado supervisionado às vezes pode resultar em overfitting, onde um modelo se torna adaptado demais a seu conjunto de dados de treinamento. A alta precisão no treinamento pode indicar overfitting, em oposição a um desempenho geralmente forte. Evitar o overfitting exige que os modelos sejam testados com dados diferentes dos dados de treinamento.