Escolhendo uma ferramenta
Os serviços principais do Cloud Pak for Data as a Service fornecem uma gama de ferramentas para usuários com todos os níveis de experiência na preparação, análise e modelagem de dados, do iniciante ao especialista. A ferramenta certa para você depende do tipo de dados que você tem, das tarefas que você planeja fazer e da quantia de automação que deseja.
Para ver quais ferramentas você usa em um projeto e quais serviços essas ferramentas requerem, abra o mapa de ferramentas e serviços..
Para escolher a ferramenta certa, considere estes fatores.
O tipo de tarefas que você precisa fazer
- Preparar dados: purificar, modelar, visualizar, organizar e validar dados.
- Analisar dados: identificar padrões e relacionamentos em dados e exibir insights.
- Construir modelos: construir, treinar, testar e implementar modelos para fazer predições ou otimizar decisões.
Quanta automação você quer
- Ferramentas do editor de código: use para gravar código em Python ou R, todos também com Spark.
- Ferramentas do construtor gráfico: Use menus e a funcionalidade arrastar e soltar em um construtor para programar visualmente.
- Ferramentas do construtor automatizado: Use para configurar tarefas automatizadas que requerem entrada de usuário limitada.
A tabela a seguir lista as ferramentas por tarefa:
| Ferramenta | Tipo de Ferramenta | Preparação de dados | Analisar dados | Construir modelos |
|---|---|---|---|---|
| Editor de bloco de notas Jupyter | Editor de código | ✓ | ✓ | ✓ |
| RStudio | Editor de código | ✓ | ✓ | ✓ |
| Fluxos de mascaramento | Construtor automatizado | ✓ | ||
| Data Refinery | Construtor gráfico | ✓ | ✓ | |
| Data Virtualization | Construtor gráfico | ✓ | ||
| DataStage | Construtor gráfico | ✓ | ||
| SPSS Modeler | Construtor gráfico | ✓ | ✓ | ✓ |
| Construtor de modelo do Decision Optimization | Editor gráfico e editor de código | ✓ | ✓ | |
| AutoAI | Construtor automatizado | ✓ | ✓ | |
| Metadata import | Construtor automatizado | ✓ | ||
| Enriquecimento de metadados | Construtor automatizado | ✓ | ✓ | |
| Regra de qualidade de dados | Construtor automatizado e editor de código | ✓ | ||
| IBM Master Data Management | Construtor automatizado | ✓ | ||
| Orchestration Pipelines | Construtor gráfico | ✓ | ✓ | ✓ |
Editor de bloco de notas Jupyter
Use o editor de bloco de notas Jupyter para criar um bloco de notas no qual você executa código para preparar, visualizar e analisar dados ou construir e treinar um modelo.
- Serviços necessários
- watsonx.ai Studio
- Formato de dados
- Qualquer
- Tamanho dos dados
- Qualquer
- Como é possível preparar dados, analisar dados ou construir modelos
- Grave código em Python ou R, todos também com Spark.
- Incluir rich text e mídia com o código.
- Trabalhar com qualquer tipo de dado da maneira desejada.
- Usar pacotes e bibliotecas pré-instalados da IBM ou instalar outros de software livre.
- Planejar execuções de seu código
- Importe um notebook de um arquivo, de uma URL ou do hub de recursos.
- Compartilhar cópias somente leitura do bloco de notas externamente.
- Começar
- Para criar um bloco de notas, clique em Novo ativo > Trabalhar com dados e modelos emPython ou cadernos R .
- Saiba mais
- Documentação sobre notebooks
- Vídeos sobre blocos de notas
- Blocos de notas de amostra
Assista a um vídeo para aprender os conceitos básicos do notebook Jupyter
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Data Refinery
Use o Data Refinery para preparar e visualizar dados tabulares com um editor de fluxo gráfico. Você cria e, em seguida, executa um fluxo do Data Refinery como um conjunto de operações ordenadas em dados.
- Serviços necessários
- watsonx.ai Estúdio ou IBM watsonx.data intelligence
- Formato de dados
- Formatos de tabela: Avro, CSV, JSON, Microsoft Excel (formatos xls e xlsx). Apenas a primeira folha, exceto para conexões e ativos de dados conectados.), Parquet, SAS com a extensão “ sas7bdat ” (somente leitura), TSV (somente leitura) ou recurso de dados de texto delimitado
- Relacional: tabelas em origens de dados relacionais
- Tamanho dos dados
- Qualquer
- Como é possível preparar dados
- Purificar, formar e organizar dados com mais de 60 operações.
- Salvar dados refinados como um novo conjunto de dados ou atualizar os dados originais.
- Criar o perfil dos dados para validá-lo.
- Usar modelos interativos para manipular dados com operações de código, funções e operadores lógicos.
- Planejar operações recorrentes em dados.
- Como é possível analisar dados
- Identificar padrões, conexões e relacionamentos nos dados em vários gráficos de visualização.
- Começar
- Para criar um fluxo do Data Refinery , clique em Novo ativo> Preparar e visualizar dados..
- Saiba mais
- Documentação sobre Refinaria de Dados
- Vídeos sobre o Data Refinery
Assista a um vídeo para ver como refinar os dados
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Data Virtualization
Use o Data Virtualization para conectar várias origens de dados a uma única coleção de auto-balanceamento de origens de dados ou bancos de dados.
- Formato de dados
- Relacional: tabelas em origens de dados relacionais
- Tamanho dos dados
- Qualquer
- Como é possível preparar dados
- Conectar-se a várias origens de dados.
- Criar tabelas virtuais.
- Começar
- Para criar tabelas virtuais, clique em Dados > Data virtualization. A partir do menu de serviços, clique em Virtualização > Virtualizar > Tabelas.
- Saiba mais
- Documentação sobre Data Virtualization
- Vídeos sobre Data Virtualization
Assista a um vídeo para ver como virtualizar dados
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
DataStage
Use o DataStage para preparar e visualizar dados tabulares com um editor de fluxo gráfico. Você cria e, em seguida, executa um fluxo do DataStage como um conjunto de operações ordenadas em dados.
- Serviço necessário
- DataStage
- Formato de dados
- Tabular: Avro, CSV, JSON, Parquet, TSV (somente leitura) ou arquivos de texto delimitados
- Relacional: tabelas em origens de dados relacionais
- Tamanho dos dados
- Qualquer
- Como é possível preparar dados
- Projete um fluxo de integração de dados gráficos que gera código do Orchestrate para executar no mecanismo paralelo do DataStage de alto desempenho.
- Execute operações como: Associar, Funil, Soma de verificação, Mesclar, Modificar, Remover duplicatas e Classificar.
- Começar
- Para criar um DataStage fluxo, clique Novo ativo > Transformar e integrar dados. O DataStage azulejo está no Construtores gráficos seção.
- Saiba mais
- Documentação sobre o DataStage
- Vídeos sobre o DataStage
Assista a um vídeo para ver como transformar dados
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
SPSS Modeler
Use SPSS Modeler para criar um fluxo para preparar dados e construir e treinar um modelo com um editor de fluxo em um construtor gráfico.
- Serviços necessários
- watsonx.ai Studio
- Formatos de Dados
- Relacional: tabelas em origens de dados relacionais
- Tabular: arquivos Excel (.xls ou .xlsx), arquivos CSV ou arquivos SPSS Statistics (.sav)
- Textual: nas tabelas relacionais ou arquivos suportados
- Tamanho dos dados
- Qualquer
- Como é possível preparar dados
- Usar funções de preparação de dados automáticos.
- Gravar instruções SQL para manipular dados.
- Purificar, formar, amostrar, classificar e derivar dados.
- Como é possível analisar dados
- Visualizar dados com mais de 40 gráficos.
- Identificar a linguagem natural de um campo de texto.
- Como é possível construir modelos
- Construir modelos preditivos.
- Escolher entre mais de 40 algoritmos de modelagem.
- Usar funções de modelagem automática.
- Modelar séries temporais ou dados geoespaciais.
- Classificar dados textuais.
- Identificar relacionamentos entre os conceitos em dados textuais.
- Começar
- Para criar umSPSS Modeler fluxo, clique Novo ativo > Crie modelos como um fluxo visual .
- Saiba mais
- Documentação sobre SPSS Modeler
- Vídeos sobre o SPSS Modeler
Assista a um vídeo para ver como criar um modelo com o SPSS Modeler
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Construtor de modelo do Decision Optimization
Use o Decision Optimization para construir e executar modelos de otimização no modelador do Decision Optimization ou em um bloco de notas Jupyter.
- Serviços necessários
- watsonx.ai Studio
- Formatos de Dados
- Tabular: arquivos CSV
- Tamanho dos dados
- Qualquer
- Como é possível preparar dados
- Importar dados relevantes em um cenário e editá-los.
- Como é possível construir modelos
- Construir modelos de otimização de decisão prescritiva.
- Crie, importe e edite modelos em Python DOcplex, OPL ou com expressões de linguagem natural.
- Criar, importar e editar modelos em notebooks.
- Como é possível resolver os modelos
- Execute e resolva modelos de otimização de decisões usando os mecanismos CPLEX.
- Investigar e comparar soluções para diversos cenários.
- Crie tabelas, gráficos e notas para visualizar dados e soluções para um ou mais cenários.
- Começar
- Para criar umDecision Optimization modelo, clique Novo ativo > Resolver problemas de otimização , ou para notebooks clique Novo ativo > Trabalhar com dados e modelos emPython ou cadernos R .
- Saiba mais
- Documentação sobre Decision Optimization
- Vídeos sobre o Decision Optimization
Assista a um vídeo para ver como criar um experimento Decision Optimization
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Ferramenta AutoAI
Use a ferramenta AutoAI para analisar automaticamente seus dados tabulares e gerar pipelines de modelos candidatos personalizados para seu problema de modelagem preditiva.
- Serviços necessários
- watsonx.ai Runtime
- watsonx.ai Studio
- Formato de dados
- Tabular: arquivos CSV
- Tamanho dos dados
- Depende do tipo de modelo. Consulte AutoAI Visão geral para obter detalhes.
- Como é possível preparar dados
- Transforme dados automaticamente, como imputar valores omissos e transformar texto em valores escalares.
- Como é possível construir modelos
- Treinar uma classificação binária, classificação multiclasse ou modelo de regressão.
- Visualizar um infográfico em árvore que mostre as sequências dos estágios de treinamento do AutoAI.
- Gerar uma tabela de classificação de pipelines de modelos classificados por pontuações de validação cruzada.
- Salvar um pipeline como um modelo.
- Começar
- Para criar umAutoAI experimente, clique Novo ativo > Crie modelos de aprendizado de máquina automaticamente .
- Saiba mais
- Documentação sobre AutoAI
- Vídeos sobre a AutoAI
Assista a um vídeo para ver como criar um experimento AutoAI
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Metadata import
Use a ferramenta de importação de metadados para descobrir e importar automaticamente metadados técnicos e de processo para ativos de dados em um projeto ou em um catálogo.
- Serviço necessário
- IBM watsonx.data intelligence
- Formato de dados
- Qualquer
- Tamanho dos dados
- Qualquer tamanho
- Como é possível preparar dados
- Importar ativos de dados de uma conexão com uma origem de dados.
- Começar
- Para importar metadados, clique em Novo ativo > Importar metadados para ativos de dados.
- Saiba mais
- Documentação sobre importação de metadados
- Vídeos sobre IBM watsonx.data intelligence
Assista a um vídeo para ver como importar metadados de ativos
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Enriquecimento de metadados
Use a ferramenta de enriquecimento de metadados para criar automaticamente o perfil dos ativos de dados e analisar a qualidade dos dados em um projeto.
- Serviço necessário
- IBM watsonx.data intelligence
- Formato de dados
- Relacional e estruturado: Tabelas e arquivos em origens de dados relacionais e não relacionais
- Tabular: arquivos Avro, CSV ou Parquet
- Tamanho dos dados
- Qualquer tamanho
- Como é possível preparar e analisar dados
- Criar o perfil e analisar um seleto conjunto de ativos de dados em um projeto.
- Começar
- Para enriquecer os dados, clique em Novo ativo > Enriquecer ativos de dados com metadados.
- Saiba mais
- Documentação sobre enriquecimento de metadados
- Vídeos sobre IBM watsonx.data intelligence
Assista a um vídeo para ver como enriquecer os ativos de dados
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Regra de qualidade de dados
Use a ferramenta de qualidade de dados para criar regras que analisem a qualidade de dados em um projeto.
- Serviço necessário
- IBM watsonx.data intelligence
- Formato de dados
- Relacional e estruturado: Tabelas e arquivos em origens de dados relacionais e não relacionais
- Tabular: arquivos Avro, CSV ou Parquet
- Tamanho dos dados
- Qualquer tamanho
- Como é possível preparar e analisar dados
- Analisar a qualidade de um conjunto selecionado de ativos de dados em um projeto.
- Começar
- Para criar uma regra de qualidade de dados, clique em Novo ativo > Medir e monitorar a qualidade dos dados.
- Saiba mais
- Documentação sobre regras de qualidade de dados
IBM Master Data Management
Use IBM Master Data Management para criar entidades de dados mestre que representem gêmeos digitais dos seus clientes. Modele e mapeie os dados e, em seguida, execute o algoritmo correspondente para criar entidades de dados principais. Customize e ajuste seu algoritmo de correspondência para atender aos requisitos de sua organização.
- Serviços necessários
- IBM Master Data Management IBM watsonx.data intelligence
- Tamanho dos dados
- Até 1.000.000 registros (para o plano Lite do Beta)
- Como é possível preparar dados
- Modelar e mapear dados de origens na organização.
- Executar o algoritmo correspondente customizável para criar entidades de dados principais.
- Visualizar e editar entidades de dados principais e seus registros associados.
- Começar
- Para criar um recurso de configuração do IBM Master Data Management, clique em Novo recurso > Consolidar dados em visualizações de 360 graus.
- Saiba mais
- Documentação sobre IBM Master Data Management
- Vídeos sobre IBM Master Data Management
Assista a um vídeo para ver como usar o IBM Master Data Management
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
RStudio IDE
Use o RStudio IDE para analisar dados ou criar aplicativos Shiny gravando código do R.
- Serviço necessário
- watsonx.ai Studio
- Formato de dados
- Qualquer
- Tamanho dos dados
- Qualquer tamanho
- Como é possível preparar dados, analisar dados e construir modelos
- Gravar código em R.
- Criar apps Shiny.
- Usar pacotes e bibliotecas de software livre.
- Incluir rich text e mídia com o código.
- Preparar dados.
- Visualizar dados.
- Descobrir insights de dados.
- Crie e treine um modelo usando bibliotecas de código aberto.
- Compartilhar o app Shiny em um repositório Git.
- Começar
- Para usar o RStudio, clique em Launch IDE > RStudio.
- Saiba mais
- Documentação sobre RStudio
- Vídeos sobre o RStudio
Assista a um vídeo para ver uma visão geral do IDE RStudio
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Fluxos de mascaramento
Use a ferramenta Fluxo de mascaramento para preparar cópias mascaradas ou subconjuntos mascarados de dados do catálogo. Os dados são desidentificados por meio de opções avançadas de mascaramento com regras de proteção de dados.
- Serviço necessário
- IBM watsonx.data intelligence
- Formato de dados
- Relacional: tabelas em origens de dados relacionais
- Tamanho dos dados
- Qualquer tamanho
- Como é possível preparar dados, analisar dados ou construir modelos
- Importar ativos de dados do catálogo controlado no projeto.
- Criar definições de tarefa de fluxo de mascaramento para especificar quais dados mascarar com regras de proteção de dados.
- Opcionalmente, criar um subconjunto de dados para reduzir o tamanho dos dados copiados.
- Executar tarefas de fluxo de mascaramento para carregar cópias mascaradas em conexões com o banco de dados de destino.
- Começar
- Certifique-se de que as etapas de pré-requisito em IBM watsonx.data intelligence estejam concluídas. Para privatizar dados, execute uma das tarefas a seguir:
- Clique Novo ativo > Copiar e mascarar dados.
- Clique nas opções de menu para ativos de dados individuais para mascarar esses ativos diretamente.
- Saiba mais
- Documentação sobre mascaramento de dados
- Vídeos sobre IBM watsonx.data intelligence
Assista a um vídeo para ver como criar um fluxo de mascaramento
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Orchestration Pipelines
Use o editor de tela do Pipelines para criar um fluxo para preparar, visualizar e analisar dados ou construir e treinar um modelo
- Formato de dados
- Qualquer
- Tamanho dos dados
- Qualquer
- Como é possível preparar dados, analisar dados ou construir modelos
- Use uma variedade de nós que contenham seus próprios logs.
- Incorpore blocos de notas no fluxo para executar qualquer código Python ou R
- Trabalhar com qualquer tipo de dado da maneira desejada.
- Planejar execuções de seu fluxo.
- Importe dados de seu PVC montado, projeto ou dados de alimentação do Github.
- Crie seu componente customizado com um código Python ..
- Condicionalize seus pipelines para monitorar a qualidade de dados da forma que desejar.
- Use o webhook para enviar e-mails ou mensagens para manter-se atualizado sobre o status de seu fluxo.
- Começar
- Para criar um novo pipeline, clique em New asset > Automate model lifecycles (Novo ativo > Automatizar ciclos de vida do modelo ).
- Saiba mais
- Documentação sobre Orchestration Pipelines
- Vídeos sobre o livro “ Orchestration Pipelines ”
Assista a um vídeo para ver como criar um pipeline
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Visualizações de dados
Use visualizações de dados para descobrir insights de seus dados. Ao explorar dados de diferentes perspectivas com visualizações, é possível identificar padrões, conexões, e relacionamentos dentro desses dados e entender rapidamente grandes quantidades de informações.
- Formato de dados
- Formatos tabulares: Avro, CSV, JSON, Parquet, TSV, SAV, arquivos do Microsoft Excel (.xls e.xlsx), SAS, arquivos de texto delimitados e dados conectados. Para obter mais informações sobre origens de dados suportadas, consulte Conectores.
- Tamanho dos dados
- Sem limite
- Começar
- Para criar uma visualização, clique em Ativo de Dados na lista de tipos de ativos em seu projeto e selecione um ativo de dados Clique na guia Visualization (Visualização ) e escolha um tipo de gráfico.
- Saiba mais
- Visualizando seus dados