Visão geral do AutoAI
A ferramenta gráfica AutoAI analisa seus dados e usa algoritmos de dados, conversões e configurações de parâmetros para criar o melhor modelo preditivo AutoAI exibe vários modelos em potencial como pipelines de candidato de modelo e os classifica em uma tabela de classificação para você escolher.
- Serviço necessário
- watsonx.ai Runtime
- watsonx.ai Studio
- Credenciais necessárias
- Credenciais de tarefas
- Formato de dados
- Formato tabular: arquivos do tipo “ CSV ”, com delimitador de vírgula (,) para todos os tipos de experimentos do “ AutoAI ”.
- Dados conectados do IBM Cloud Object Storage ( CSV, Parquet e Microsoft Excel).
- Tamanho dos dados
- Até 1 GB ou até 20 GB. Para obter detalhes, consulte AutoAI data use..
Uso de dados do AutoAI
Dados de treinamento e dados de entrada do modelo estão em um formato tabular. Os nomes de colunas na tabela devem ser exclusivos Nomes de colunas duplicados resultarão em erro.
Esses limites são baseados na configuração de cálculo padrão de 8 CPU e 32 GB.
Experimentos de classificação e regressão do AutoAI :
- É possível fazer upload de um arquivo até 1 GB para experimentos do AutoAI .
- Se você se conecta a uma origem de dados que excede 1 GB, apenas os primeiros 1 GB de registros são usados..
Experimentos de séries temporais do AutoAI :
Se a origem de dados contiver uma coluna de registro de data e hora, AutoAI amostrará os dados em uma frequência uniforme. Por exemplo, os dados podem ser em incrementos de um minuto, uma hora, ou um dia. O timestamp especificado é usado para determinar a janela de lookback para melhorar a precisão do modelo.
Nota:Se o tamanho do arquivo for maior que 1 GB, AutoAi classifica os dados em ordem de tempo decrescente e apenas os primeiros 1 GB são usados para treinar o experimento.
Se a origem de dados não contiver uma coluna de registro de data e hora, assegure-se de que AutoAI amostras os dados em intervalos uniformes e classifique os dados em ordem de tempo crescente . Uma ordem de classificação crescente significa que o valor na primeira linha é o mais antigo e o valor na segunda linha é o mais recente.
Nota: Se o tamanho do arquivo for maior que 1 GB, trunque o tamanho do arquivo para que ele seja menor que 1 GB.
Para obter mais informações sobre a escolha da ferramenta certa para seus dados e seu caso de uso, consulte Escolhendo uma ferramenta.
Processo do AutoAI
Usando o AutoAI, é possível construir e implementar um modelo de aprendizado de máquina com recursos de treinamento sofisticados e sem codificação. A ferramenta faz a maior parte do trabalho para você.
Para visualizar o código que criou um determinado experimento ou interagir com esse experimento programaticamente, é possível salvar um experimento como um notebook.
O AutoAI executa automaticamente as tarefas a seguir para construir e avaliar os pipelines de modelo candidato:
- Pré-processamento de dados
- Seleção de modelo automatizado
- Engenharia de recursos automatizada
- Otimização de hiperparâmetro
Entendendo o processo do AutoAI
Para obter mais detalhes sobre cada uma dessas fases, incluindo links para artigos de pesquisa associados e descrições dos algoritmos aplicados para criar os pipelines de modelo, consulte Detalhes de implementação do AutoAI.
Pré-processamento de dados
A maioria dos conjuntos de dados contém diferentes formatos de dados e valores omissos, mas os algoritmos de aprendizado de máquina padrão funcionam apenas com números e sem valores omissos Portanto, AutoAI aplica vários algoritmos ou estimadores para analisar, limpar e preparar seus dados brutos para aprendizado de máquina. Essa técnica detecta e categoriza automaticamente os valores com base em recursos, como tipo de dados: categórico ou numérico. Dependendo da categorização, o AutoAI usa otimização de hiperparâmetro para determinar a melhor combinação de estratégias para imputação de valor ausente, codificação de recurso e ajuste de escala de recurso para seus dados.
Seleção de modelo automatizado
AutoAI usa seleção de modelo automatizado para identificar o melhor modelo para seus dados. Esta nova abordagem testa modelos potenciais contra pequenos subconjuntos dos dados e os classifica com base na precisão. Em seguida, AutoAI seleciona os modelos mais promissores e aumenta o tamanho do subconjunto de dados até identificar a melhor correspondência. Esta abordagem economiza tempo e melhora o desempenho, reduzindo gradualmente os modelos potenciais com base na precisão.
Para obter informações sobre como lidar com pipelines gerados automaticamente a fim de selecionar o melhor modelo, consulte Selecionando um modelo de AutoAI.
Engenharia de recursos automatizados
A engenharia de recursos identifica o modelo mais preciso transformando dados brutos em uma combinação de recursos que melhor representam o problema. Essa abordagem exclusiva explora várias opções de construção de recursos de maneira estruturada e não exaustiva, ao mesmo tempo que maximiza progressivamente a precisão do modelo usando o aprendizado por reforço. Essa técnica resulta em uma sequência otimizada de conversões para os dados que melhor correspondem aos algoritmos da etapa de seleção de modelo
Otimização de hiperparâmetro
A otimização de hiperparâmetro refina os modelos de melhor desempenho AutoAI usa um novo algoritmo de otimização de hiperparâmetro para determinadas avaliações de função, como treinamento de modelo e pontuação, que são típicas no aprendizado de máquina. Essa abordagem identifica rapidamente o melhor modelo, apesar dos longos tempos de avaliação em cada iteração..
Agrupamento e aprendizado incremental
O processo de criação de BatchedTreeEnsemble pipelines em cima dos pipelines classificados. Os pipelines de conjunto oferecem recursos de aprendizagem incremental e podem ser usados para continuar o treinamento usando os dados restantes em uma fonte de subamostragem, dividindo os dados restantes em lotes, se necessário. Cada lote de dados de treinamento é pontuado independentemente, usando a métrica otimizada, para que você possa analisar o desempenho de cada lote ao explorar os resultados. Para obter detalhes, consulte Aprendizagem incremental.
Próximas etapas
Tente o tutorial Iniciação rápida: construir e implementar um modelo de aprendizado de máquina com AutoAI .