O que é AutoML?

As ferramentas de AutoML simplificam o processo de criação de modelos de ML. Os usuários se beneficiam de uma interface intuitiva que permite criar, treinar, validar e implementar modelos de IA generativa e outros sistemas de deep learning. O AutoML facilita a implementação da IA em setores regulamentados graças aos seus resultados explicáveis e reprodutíveis. 

Sem o AutoML, cada etapa do fluxo de trabalho de aprendizado de máquina (ML) (preparação de dados, pré-processamento de dados, engenharia de funcionalidades e otimização de hiperparâmetros) deve ser realizada manualmente. O AutoML democratiza o aprendizado de máquina, ao torná-lo acessível a qualquer pessoa interessada em explorar seu potencial. Enquanto isso, equipes experientes de MLOps e profissionais de ciência de dados podem automatizar os aspectos rotineiros dos fluxos de trabalho de aprendizado de máquina e, ao mesmo tempo, concentrar-se em tarefas de aprendizado mais exigentes. 

As soluções de AutoML funcionam construindo vários pipelines de aprendizado de máquina para lidar com a tarefa pretendida e, em seguida, identificando a escolha ideal. A avaliação e a seleção de modelos são automatizadas como parte do processo iterativo de escolha do melhor modelo para o trabalho. Ferramentas de visualização de dados trazem ainda mais facilidade de uso ao processo de AutoML. 

A diferença entre o AutoML e o aprendizado de máquina tradicional é que o AutoML automatiza quase todos os estágios do pipeline de aprendizado de máquina. Os pipelines tradicionais consomem muito tempo, exigem muitos recursos e são propensos a erros humanos. Em comparação, os avanços no AutoML levaram a maior eficiência e melhores resultados. 

Um pipeline típico de aprendizado de máquina consiste nas seguintes etapas:  

A preparação de dados é o processo de coleta de dados brutos e sua integração a um conjunto de dados de treinamento. A preparação de dados ajuda a garantir que os dados de treinamento estejam livres de vieses e é o que prepara um modelo para o sucesso: dados precisos levam a previsões e insights precisos. Como as empresas vinculam sistemas de IA a armazenamentos de dados proprietários, como por meio da geração aumentada de recuperação (RAG), a preparação de dados é crítica para a implementação confiável da IA. 

Os usuários conectam a plataforma de AutoML à fonte dos dados de treinamento, idealmente um grande conjunto de dados contendo dados prontos para uso no treinamento. A fase de preparação de dados ocorre antes de implementar uma solução de AutoML. 

A solução de AutoML intervém para pré-processar e limpar ainda mais os dados. Um pré-processamento de dados mais completo leva a um melhor desempenho do modelo de IA. 

Ao criar manualmente modelos para tarefas de aprendizado supervisionado e aprendizado semissupervisionado, os dados de treinamento devem ser rotulados manualmente. As funcionalidades e saídas devem ser selecionadas com base no caso de uso pretendido do modelo. As soluções de AutoML podem lidar com a engenharia de funcionalidades em nome dos usuários para selecionar as funcionalidades de dados com maior probabilidade de melhorar o desempenho do modelo. 

Funcionalidades ou variáveis de dados são os atributos de um conjunto de dados que os modelos de aprendizado de máquina usam para tomar decisões e fazer previsões. Por exemplo, para um modelo de visão computacional criado para identificar espécies vegetais, as funcionalidades de dados podem incluir o formato e a cor da folha. 

A engenharia de funcionalidades é o processo transformador pelo qual um cientista de dados extrai novas informações dos dados de entrada e as prepara para o aprendizado de máquina. Uma boa engenharia e seleção de funcionalidades podem determinar a diferença entre um desempenho aceitável e de alta qualidade do modelo.

A engenharia de funcionalidades automatizada automatiza o processo de exploração do espaço de funcionalidades, preenchendo os missing values e selecionando as funcionalidades a serem usadas. Criar manualmente uma única funcionalidade pode levar horas, e o número de funcionalidades necessárias para um mínimo de precisão (sem mencionar uma linha de base de precisão de nível de produção) pode chegar a centenas. A engenharia de funcionalidades automatizada reduz essa fase de dias para minutos. 

Além dos benefícios de eficiência, a eficiência de funcionalidades automatizada também aumenta a explicabilidade da IA, importante para setores rigorosamente regulamentados, como saúde ou finanças. A maior clareza das funcionalidades torna os modelos mais atraentes e praticáveis, ao descobrir novos KPIs organizacionais.

Que tipo de modelo é melhor para o caso de uso pretendido? Com aprendizado de máquina tradicional, a seleção de modelos exige conhecimento de especialista dos tipos de modelos de IA, juntamente com seus respectivos recursos e limitações. 

As ferramentas de AutoML melhoram os processos tradicionais ao criar e treinar automaticamente vários modelos simultaneamente com uma variedade de algoritmos e configurações de hiperparâmetros. Muitas soluções de AutoML combinam vários modelos em um processo conhecido como aprendizado em conjunto. 

Uma das tarefas mais complicadas, propensas a erros e demoradas ao construir redes neurais profundas é a criação da arquitetura neural. Tarefas avançadas requerem redes de várias camadas com configurações complexas de hiperparâmetros. 

A pesquisa de arquitetura neural (NAS) automatiza esse processo, reduzindo o tempo gasto e a possibilidade de erro. Com o uso de algoritmos avançados, a NAS identifica a arquitetura ideal com base no contexto e no conjunto de dados. Os avanços recentes na NAS concentram-se no desenvolvimento de técnicas mais eficientes para reduzir os custos computacionais associados. 

Os hiperparâmetros são as regras que regem o processo de aprendizado do modelo. Ao contrário dos parâmetros internos que um modelo atualiza durante o treinamento, os hiperparâmetros são externos ao modelo e são configurados pelos cientistas de dados. A estrutura da rede neural também é definida por hiperparâmetros. 

Em contextos de modelagem de dados em pequena escala, os hiperparâmetros podem ser configurados manualmente e otimizados por meio de tentativa e erro. Mas, com aplicações de deep learning, o número de hiperparâmetros cresce exponencialmente. A otimização de hiperparâmetros automatizada permite que as equipes iterem e experimentem para descobrir os melhores hiperparâmetros em funcionalidades e modelos. 

O ajuste de hiperparâmetros é automatizado por meio de algoritmos avançados, como a otimização bayesiana. O ajuste de hiperparâmetros permite automatizado que os cientistas de dados se concentrem no porquê da criação do modelo, não no como, durante o processo de aprendizado de máquina. Em vez disso, as equipes de análise de dados podem se concentrar na otimização de modelos para casos de uso designados, como por exemplo, para minimizar falsos negativos em testes médicos.

Os cientistas de dados precisam validar o progresso de um algoritmo de aprendizado de máquina durante o treinamento. Após o treinamento, o modelo é testado com novos dados para avaliar seu desempenho antes da implementação no mundo real. O desempenho do modelo é avaliado com métricas que incluem uma matriz de confusão, pontuação F1, curva ROC e outras. 

Quando o treinamento é concluído, a ferramenta de AutoML testa cada modelo para identificar qual tem o melhor desempenho nos conjuntos de dados de treinamento e testes. Em seguida, seleciona automaticamente o modelo com melhor desempenho para implementação.

A criação de um modelo é apenas o primeiro passo na linha do tempo do produto. Os modelos concluídos precisam ser disponibilizados aos usuários, monitorados quanto ao desempenho e mantidos ao longo do tempo para ajudar a garantir confiabilidade e precisão. Sem automação, as equipes de desenvolvimento devem escrever scripts e criar sistemas para integrar o modelo a suas operações e entregá-lo à sua base de usuários. 

Muitas soluções de AutoML incluem ferramentas de implementação para uma integração sem dificuldades no mundo real. Os modelos podem ser implementados como um serviço acessível por meio de um site, aplicativo ou conexão de APIs.  As plataformas de AutoML podem automatizar a implementação do modelo em ofertas de produtos preexistentes, gerenciar o escalonamento, as atualizações e o controle de versões, e aumentar a explicabilidade com a visualização de dados.

A grande variedade de ferramentas de AutoML significa que a técnica pode ser aplicada a uma ampla gama de tarefas de aprendizado de máquina, incluindo: 

• Classificação 

• Regressão

• Visão computacional 

• Processamento de linguagem natural 

Classificação é a tarefa de aprendizado de máquina de atribuir entradas a categorias designadas. Os modelos preditivos usam funcionalidades de dados de entrada para prever os rótulos, ou saídas, corretos. Os sistemas AutoML podem criar e testar uma série de algoritmos, como florestas aleatórias e máquinas de vetores de suporte (SVM), para processar dados tabulares. 

As ferramentas do AutoML detectam automaticamente padrões em conjuntos de dados rotulados e podem criar modelos para tarefas de classificação comuns, como detecção de fraude e filtragem de spam por e-mail. 

A regressão no aprendizado de máquina é o desafio de usar dados históricos para prever valores futuros. A regressão linear prevê o valor de uma variável dependente com base em uma ou mais variáveis independentes — por exemplo, com análise de riscos ou forecasting de mercado. A regressão logística prevê a probabilidade de um evento futuro, como a probabilidade de um paciente contrair uma doença, em vez de um valor discreto. 

O AutoML simplifica o processo de estabelecimento de relações entre as variáveis de entrada e as variáveis de destino, principalmente em tarefas multivariadas complexas.

Visão computacional é o uso de computadores para processar dados visuais, como imagens e vídeos. Os sistemas de AutoML podem gerar modelos adaptados para tarefas de classificação baseadas em visão, incluindo detecção de objetos, classificação de imagens e reconhecimento óptico de caracteres inteligente. Os casos de uso podem abranger moderação e filtragem de conteúdo, marcação de imagens e outras tarefas relacionadas. 

Os sistemas de AutoML também podem realizar um ajuste fino de modelos para uso em contextos de visão computacional mais avançados, como automóveis autônomos.

O processamento de linguagem natural (PNL) permite que os sistemas de IA interpretem entradas textuais, como prompts do usuário e documentos legais. A criação de chatbots, a classificação de texto com várias classes e vários rótulos, a análise do sentimento do cliente, o named entity recognition e a tradução de idiomas são exemplos de tarefas de NLP complexas que podem ser facilmente tratadas com o AutoML. 

Cientistas de dados podem criar modelos personalizados com o AutoML que são otimizados automaticamente para um alto desempenho nos casos de uso pretendidos. Caso contrário, ao criar modelos de NLP manualmente, os cientistas de dados devem começar do zero ou baseá-los em modelos anteriores que podem não ter um desempenho tão bom quanto um modelo personalizado e gerado automaticamente.

Embora o AutoML traga muitos benefícios para os desenvolvedores de IA, ele não é um substituto de atacado para o conhecimento, a experiência, as habilidades e a criatividade humanas. As limitações do AutoML incluem: 

• Custos elevados: quanto mais exigente for a tarefa, mais avançado deverá ser o modelo correspondente. Os custos do AutoML podem sair rapidamente do controle quando a técnica é aplicada à criação de modelos grandes e complexos. 

• Falta de interpretabilidade: os modelos gerados pelo AutoML às vezes podem cair na armadilha da "IA de caixa-preta", em que o funcionamento interno do modelo é obtuso. Os desenvolvedores humanos podem criar modelos projetados de acordo com os princípios da IA explicável, mas isso não é garantido com as soluções de AutoML. 

• Risco de overfitting: o overfitting(quando um modelo treinado se aproxima muito de seus dados de treinamento e não consegue transferir seu aprendizado para dados do mundo real) pode ser mitigado com intervenção humana e monitoramento cuidadoso do processo de aprendizado. 

• Controle limitado: os desenvolvedores sacrificam o controle pela eficiência com a automação. Em casos específicos em que são necessários modelos altamente personalizados, as soluções de AutoML podem ter dificuldade para fornecer um modelo apropriado. 

• Confiança nos dados: um modelo de IA é tão sólido quanto seus dados de treinamento. Tanto os modelos feitos por humanos quanto os criados por AutoML não terão um bom desempenho se não receberem dados de alta qualidade.

Os criadores de modelos de IA têm uma ampla gama de ferramentas de AutoML a seu alcance. As opções incluem: 

• AutoKeras: uma ferramenta de código aberto desenvolvida na biblioteca Keras e no TensorFlow. 

• Auto-PyTorch: uma solução de AutoML projetada para automatizar projetos de aprendizado de máquina criados com o PyTorch. 

• Google Cloud AutoML: a solução de AutoML do Google disponível em sua plataforma de nuvem para aprendizado de máquina. 

• Lale¹: uma biblioteca Python semiautomatizada de código aberto que se integra sem dificuldades aos pipelines do scikit-learn. 

• AutoML do Microsoft Azure: os desenvolvedores que usam o Microsoft Azure podem se beneficiar de seus recursos do AutoML. 

• Auto-Sklearn: uma plataforma de AutoML de código aberto baseada na biblioteca scikit-learn.