Caso de uso de inteligência de dados
Sinta-se confiante na qualidade de seus dados e nos insights que eles geram, com a inteligência de dados. Muitas empresas lutam para equilibrar os benefícios de fornecer acesso aos dados com a necessidade de proteger dados confidenciais. Cloud Pak for Data as a Service fornece os métodos de que sua empresa precisa para automatizar a inteligência de dados, de modo que você possa garantir que os dados estejam acessíveis e protegidos.
A governança de dados é uma parte essencial do caso de uso de inteligência de dados em Cloud Pak for Data. Assista a este vídeo para ver um caso de uso típico de governança de dados.
Este vídeo oferece um método visual para aprender os conceitos e as tarefas desta documentação.
Desafios
Muitas empresas enfrentam os seguintes desafios de inteligência de dados:
- Fornecimento de privacidade de dados em escala
- As organizações precisam estar em conformidade com as normas de privacidade de dados para dados em fontes de dados em várias plataformas de nuvem e no local.
- Acesso a dados de alta qualidade
- As organizações precisam fornecer acesso a dados corporativos de alta qualidade para várias equipes.
- Criação de um perfil completo do cliente
- As equipes precisam criar visões precisas dos clientes em escala, rapidamente, para otimizar os processos de autoatendimento e a administração de dados.
- Rastreamento da jornada de seus dados
- As equipes precisam garantir a precisão, a confiança e a conformidade mapeando a jornada dos seus dados.
- Fornecimento de consumo de dados por autoatendimento
- Os consumidores de dados, como os cientistas de dados, têm dificuldade para encontrar e usar os dados de que precisam.
Você pode resolver esses desafios implementando uma malha de dados com Cloud Pak for Data as a Service.
Exemplo: Os desafios do Golden Bank
Acompanhe a história do Golden Bank à medida que a equipe de governança implementa uma solução de inteligência de dados. O Golden Bank possui uma grande quantidade de dados de clientes e hipotecas que incluem dados confidenciais.O banco quer garantir a qualidade dos dados, mascarar os dados confidenciais e disponibilizá-los para uso em vários departamentos.
Processo
A forma de implementar a governança de dados depende das necessidades de sua organização. Você pode implementar a governança de dados de forma linear ou iterativa. Você pode confiar em recursos padrão e artefatos predefinidos ou personalizar sua solução.
Para implementar a governança de dados, sua organização pode seguir este processo:
- Estabeleça seu vocabulário de negócios
- Definir regras para proteger seus dados
- Faça a curadoria e a consolidação de seus dados
- Compartilhe seus dados em catálogos
O serviço IBM watsonx.data intelligence em Cloud Pak for Data fornece as ferramentas e os processos de que sua organização precisa para implementar uma solução de inteligência de dados.
1. Estabeleça seu vocabulário comercial
Para enfrentar os desafios, sua equipe precisa estabelecer um vocabulário comercial importando ou criando artefatos de governança que atuem como metadados para classificar e descrever os dados:
- Antes de automatizar a privacidade dos dados, sua equipe precisa garantir que os dados a serem controlados sejam identificados com precisão.
- Antes de analisar a qualidade dos dados, você precisa identificar o formato dos dados.
- Para que os dados sejam fáceis de encontrar, sua equipe precisa garantir que o conteúdo dos dados seja descrito com precisão.
Nessa primeira etapa do processo, sua equipe de governança pode se basear nos artefatos de governança predefinidos e criar artefatos de governança personalizados específicos para sua organização. Você pode criar artefatos para descrever o formato, o significado comercial, a sensibilidade, o intervalo de valores e as políticas de governança dos dados.
| O que você pode usar | O que é possível fazer | Melhor usar quando |
|---|---|---|
| Categorias | Use a categoria predefinida para armazenar seus artefatos de governança. Crie categorias para organizar os artefatos de governança em uma estrutura hierárquica semelhante a pastas. Adicione colaboradores com funções que definam suas permissões nos artefatos da categoria. |
Você precisa de mais do que a categoria predefinida. Você deseja um controle refinado de quem pode ser proprietário, autor e visualizar os artefatos de governança. |
| fluxos de trabalho | Use a configuração padrão do fluxo de trabalho que não restringe quem cria artefatos de governança nem exige revisões. Configure fluxos de trabalho para artefatos de governança e designe quem pode criar quais tipos de artefatos de governança em quais categorias. |
Você deseja controlar quem cria artefatos de governança. Você deseja que os rascunhos dos artefatos de governança sejam revisados antes de serem publicados. |
| Artefatos de controle | Use os termos comerciais, as classes de dados e as classificações predefinidas. Crie artefatos de governança que atuem como metadados para enriquecer, definir e controlar os ativos de dados. |
Você deseja adicionar conhecimento e significado aos ativos para ajudar as pessoas a entender os dados. Você deseja melhorar a análise da qualidade dos dados. |
| Knowledge Accelerators | Importe um conjunto de artefatos de governança predefinidos para melhorar a classificação de dados, a conformidade regulamentar, a análise de autoatendimento e outras operações de governança. | Você precisa de um vocabulário padrão para descrever problemas comerciais, desempenho comercial, padrões do setor e regulamentações. Você quer economizar tempo importando artefatos de governança pré-criados. |
Exemplo: O vocabulário comercial do Golden Bank
O líder da equipe de governança do Golden Bank começa criando uma categoria, Banking, para manter os artefatos de governança que a equipe planeja criar. O líder da equipe adiciona o restante dos membros da equipe de governança como colaboradores à categoria Banco com a função Editor, para que eles tenham permissão para criar artefatos de governança. Em seguida, o líder da equipe configura os fluxos de trabalho para que um membro diferente da equipe seja responsável pela criação de cada tipo de artefato. Todos os fluxos de trabalho exigem uma etapa de aprovação pelo líder da equipe.
Um membro da equipe de governança importa um conjunto de termos comerciais de uma planilha. Alguns dos termos comerciais estão associados às ocupações dos clientes pessoais. Outro membro da equipe cria um conjunto de dados de referência, "Professions" (Profissões), que contém uma lista de ocupações, em que cada ocupação tem um número de identificação. Um terceiro membro da equipe cria uma classe de dados personalizada, "Profession", para identificar a profissão dos clientes pessoais, com base no conjunto de dados de referência.
2. Definir regras para proteger seus dados
Na próxima etapa do processo, sua equipe define regras para garantir a conformidade com as normas de privacidade de dados, controlando quem pode ver quais dados. Sua equipe cria regras de proteção de dados para definir como proteger os dados em catálogos governados. Sua equipe pode usar essas regras de proteção de dados para mascarar dados confidenciais com base no conteúdo, no formato ou no significado dos dados, ou na identidade dos usuários que acessam os dados.
| O que você pode usar | O que é possível fazer | Melhor usar quando |
|---|---|---|
| Regras de proteção de dados | Proteja informações confidenciais contra acesso não autorizado em catálogos governados, negando acesso a dados, mascarando valores de dados ou filtrando linhas em ativos de dados. Mascare dados de forma dinâmica e consistente em catálogos governados em um nível granular definido pelo usuário. |
Você precisa impor automaticamente a privacidade dos dados em seus catálogos governados. Você deseja manter a disponibilidade e a utilidade dos dados e, ao mesmo tempo, cumprir as normas de privacidade. |
| Fluxos de mascaramento | Use recursos avançados de mascaramento de dados com preservação de formato ao extrair cópias ou subconjuntos de dados de produção. | Você precisa de dados de treinamento anônimos e conjuntos de teste que mantenham a integridade dos dados. |
| Políticas e regras de governança | Descreva e documente as diretrizes, os regulamentos, os padrões ou os procedimentos de segurança de dados da sua organização. Descreva o comportamento ou as ações necessárias para implementar a política de governança. |
Você quer que as pessoas que usam os dados entendam as políticas de governança de dados. |
Exemplo: Regras de proteção de dados do Golden Bank
Para criar um modelo preditivo para aprovações de hipotecas, os cientistas de dados do Golden Bank precisam ter acesso a conjuntos de dados que incluem dados confidenciais. Por exemplo, os cientistas de dados querem acessar a tabela com dados sobre candidatos a hipotecas, que inclui uma coluna com números de previdência social.
Um membro da equipe de governança cria uma regra de proteção de dados que mascara números de previdência social. Se a classe de dados atribuída de uma coluna em um ativo de dados for "Número do Seguro Social dos EUA", os valores dessa coluna serão substituídos por 10 Xs.
Um membro da equipe de governança cria uma política que inclui a regra de proteção de dados. A política descreve os motivos comerciais para a implementação da regra.
3. Faça a curadoria de dados para compartilhar em catálogos
Os administradores de dados fazem a curadoria de ativos de dados de alta qualidade em projetos e os publicam em catálogos onde as pessoas que precisam dos dados podem encontrá-los. Os administradores de dados enriquecem os ativos de dados atribuindo artefatos de governança como metadados que descrevem os dados e informam a pesquisa semântica de dados.
| O que você pode usar | O que é possível fazer | Melhor usar quando |
|---|---|---|
| Metadata import | Importe automaticamente metadados técnicos para os dados que estão associados a uma conexão para criar ativos de dados. | Você precisa criar muitos ativos de dados a partir de uma fonte de dados. Você precisa atualizar os ativos de dados que importou anteriormente. |
| Enriquecimento de metadados | Crie o perfil de vários ativos de dados em uma única execução para atribuir automaticamente classes de dados e identificar tipos de dados e formatos de colunas. Atribua automaticamente termos comerciais a ativos e gere sugestões de termos com base na classificação de dados. Execute novamente a importação e os trabalhos de enriquecimento em intervalos para descobrir e avaliar as alterações nos ativos de dados. |
Você precisa selecionar e publicar muitos ativos de dados que importou. |
| Análise de qualidade de dados | Execute verificações da qualidade dos dados em seus conjuntos de dados para verificar se há problemas de qualidade nos dados. Rastreie continuamente as alterações no conteúdo e na estrutura dos dados e analise recorrentemente os dados alterados. |
Você precisa saber se a qualidade dos dados pode afetar a precisão da análise ou dos modelos de dados. Seus usuários precisam identificar quais conjuntos de dados devem ser corrigidos. |
| Linhagem de Dados | Rastreie, visualize, transforme e otimize seu fluxo de dados desde a origem até o consumo. | Você precisa garantir a precisão, a confiança e a conformidade mapeando a jornada dos seus dados. |
| IBM Master Data Management | Com as ferramentas de configuração disponíveis em IBM Master Data Management, os engenheiros de dados podem coletar dados de clientes de diferentes sistemas em toda a empresa e visualizar um modelo de dados personalizável gerado automaticamente, sem precisar mapear manualmente milhares de atributos. Depois que os dados forem carregados em IBM Master Data Management, os engenheiros de dados podem executar um algoritmo de correspondência para criar entidades de dados mestres enriquecidas. |
Você deseja usar um algoritmo de correspondência inteligente que possa ser ajustado e treinado para estabelecer uma visão única, confiável e consolidada dos dados. |
Exemplo: Curadoria de dados do Golden Bank
Os administradores de dados da equipe de governança começam a importar metadados para criar ativos de dados em um projeto. Após a importação dos metadados, o Golden Bank tem dois ativos de dados que representam tabelas com uma coluna chamada "ID". Após o enriquecimento de metadados, essas colunas são claramente diferenciadas por seus metadados atribuídos:
- A uma coluna são atribuídos os termos comerciais "Ocupação" e "Profissão" e a classe de dados "Profissão".
- A outra coluna recebe os termos comerciais "Personal identifier" (Identificador pessoal) e "Private individual" (Indivíduo privado) e a classe de dados "US Social Security Number" (Número do seguro social dos EUA).
Os administradores de dados executam a análise da qualidade dos dados nos ativos de dados para garantir que a pontuação geral da qualidade dos dados exceda o limite de 95% do Golden Bank.
O líder da equipe de governança cria um catálogo, "Catálogo de aprovação de hipoteca", e adiciona os administradores de dados e cientistas de dados como colaboradores do catálogo. Os administradores de dados publicam no catálogo os ativos de dados que criaram no projeto.
4. Compartilhe ou trabalhe com seus dados
O catálogo ajuda suas equipes a entender seus dados e disponibiliza os dados certos para o uso certo. Os cientistas de dados e outros tipos de usuários podem acessar os dados de que precisam e, ao mesmo tempo, manter a conformidade com as políticas corporativas de acesso e proteção de dados. Eles podem adicionar ativos de dados de um catálogo em um projeto, onde colaboram para preparar, analisar e modelar os dados.
| O que você pode usar | O que é possível fazer | Melhor usar quando |
|---|---|---|
| Catálogos | Organize seus ativos para compartilhar entre os colaboradores da sua organização. Aproveite a pesquisa semântica e as recomendações baseadas em IA para ajudar os usuários a encontrar o que precisam. |
Seus usuários precisam entender, colaborar, enriquecer e acessar facilmente os dados de alta qualidade. Você deseja aumentar a visibilidade dos dados e a colaboração entre os usuários corporativos. Você precisa que os usuários visualizem, acessem, manipulem e analisem os dados sem entender seu formato físico ou localização e sem precisar movê-los ou copiá-los. Você deseja que os usuários aprimorem os ativos classificando-os e revisando-os. |
| Procura global | Pesquise ativos em todos os projetos, catálogos e espaços de implementação aos quais você tem acesso. Pesquise artefatos de governança nas categorias às quais você tem acesso. |
Você precisa encontrar dados ou outro tipo de ativo, ou um artefato de governança. |
| Data Product Hub | Compartilhe produtos de dados; os produtores de dados podem publicar produtos de dados com curadoria para compartilhar com os consumidores de dados em sua comunidade, e os consumidores de dados podem acessar facilmente os produtos de dados para suas necessidades comerciais. | Você precisa empacotar, produzir e compartilhar seus ativos ricos em dados. |
| Data Refinery | Limpe os dados para corrigir ou remover dados incorretos, incompletos, formatados incorretamente ou duplicados. Modele os dados para personalizá-los filtrando, classificando, combinando ou removendo colunas. |
Você precisa melhorar a qualidade ou a utilidade dos dados. |
Exemplo: Catálogo do Golden Bank
Os cientistas de dados encontram os ativos de dados de que precisam no catálogo e copiam esses ativos para um projeto. Em seu projeto, os cientistas de dados podem refinar os dados para prepará-los para o treinamento de um modelo.
Tutoriais para inteligência de dados
| Tutorial | Descrição | Conhecimento para tutorial |
|---|---|---|
| Selecione dados de alta qualidade | Crie ativos de dados de alta qualidade enriquecendo seus dados e executando análises de qualidade de dados. | Execute as ferramentas de enriquecimento Metadata import e Metadata. |
| Proteja seus dados | Controle o acesso aos dados em Cloud Pak for Data as a Service. | Criar regras de proteção de dados. |
| Consumir seus dados | Localizar, modelar e analisar dados. | Explore um catálogo e execute a ferramenta Data Refinery. |
| Administrar dados virtualizados | Enriqueça os dados virtualizados e garanta que os dados virtuais estejam protegidos. | Use a interface Data Virtualization, os projetos e os catálogos para controlar os dados virtualizados. |
| Configurar uma visualização em 360 graus | Configure, mapeie e modele seus dados para criar uma visão consolidada de seus clientes. | Use a interface de arrastar e soltar do Master Data Management para configurar sua visualização consolidada. |