O que é inteligência de dados? 

13 de dezembro de 2024

Autores

Matthew Kosinski

Enterprise Technology Writer

O que é inteligência de dados?

A inteligência de dados (DI) combina princípios fundamentais de gerenciamento de dados e gerenciamento de metadados com ferramentas avançadas—como inteligência artificial e aprendizado de máquina—para ajudar as organizações a entender como os dados corporativos são produzidos e usados. Os insights de DI podem liberar o valor de negócios dos dados e estimular a tomada de decisões baseada em dados.

Em outras palavras, a inteligência de dados ajuda as organizações a responder a perguntas essenciais sobre seus dados, incluindo:

  • Quais dados a organização possui? Por que esses dados existem?

  • De onde vieram os dados e onde eles residem? 

  • Quem está usando os dados? Como eles os estão usando e como devem usá-los para obter os melhores resultados?

  • Como os conjuntos de dados distintos estão relacionados entre si?

A inteligência de dados responde a essas perguntas usando um conjunto interconectado de processos e ferramentas para automatizar e otimizar o gerenciamento de metadados, a descoberta de dados, a governança de dados, a garantia de qualidade, a análise de dados e outras atividades.

Até 68% dos dados corporativos nunca são analisados, de acordo com o IBM Data Diferenciador. Devido à grande quantidade de dados na ponta dos dedos, as organizações podem ter dificuldades para aplicar controles de qualidade e impor políticas de governança. Os usuários nem sempre conseguem encontrar os dados certos para seu trabalho e podem nem saber quando eles existem. 

A inteligência de dados surgiu para lidar com esse problema ao unir as ferramentas existentes (como catálogos de dados, soluções de linhagem de dados, mercado de dados, inteligência artificial (IA) e aprendizado de máquina (ML)) em um processo único e abrangente.  

Esse processo unificado oferece às organizações mais insights sobre seus dados e como obter o máximo valor deles. Dessa forma, a DI permite análise de dados de autoatendimento e apoia iniciativas-chave, como business intelligence e IA generativa.

Inteligência de dados versus gerenciamento de dados

O gerenciamento de dados é uma disciplina ampla que supervisiona todo o ciclo de vida dos dados, desde a criação até o descarte. Enquanto o gerenciamento de dados se preocupa com os aspectos práticos de coletar, armazenar e processar dados, a inteligência de dados tem a ver com entender esses dados.

A inteligência de dados complementa o gerenciamento de dados ao proporcionar às organizações os insights de que precisam para fazer escolhas mais informadas sobre captura, proteção, limpeza e compartilhamento de dados.

Projeto 3D de bolas rolando em uma pista

As últimas notícias e insights sobre IA 


Descubra insights selecionadas por especialistas sobre IA, nuvem e outros assuntos no boletim informativo semanal Think. 

A evolução da inteligência de dados

Desde o advento da Web 2.0 e a ascensão da computação em nuvem, as organizações têm coletado mais dados (dados de clientes, dados operacionais, dados transacionais) de mais fontes de dados (aplicativos da web, sistemas de negócios, dispositivos de Internet das coisas). O surgimento da IA generativa só aumentou o valor (e a quantidade) de todos esses dados.

Gerenciar esses dados (acompanhar como são usados e como mudam, armazenar com segurança, facilitar o acesso, mantê-los limpos e atualizados) pode ser difícil. Se os dados não forem gerenciados adequadamente, pode ser difícil para os consumidores de dados encontrar os dados de que precisam, muito menos obter insights praticáveis a partir deles.

Há muito tempo as organizações têm os recursos para gerenciar dados: ferramentas de linhagem de dados para mapear ciclos de vida de dados de ponta a ponta, ferramentas de governança para definir políticas de uso, ferramentas de criação de perfis e limpeza de dados e assim por diante. No entanto, esses recursos muitas vezes eram fragmentados, dispersos entre produtos e funções díspares.  

A principal inovação da disciplina de inteligência de dados é reunir essas ferramentas com tecnologias avançadas de IA e ML, seja em uma única plataforma ou em um stack de dados rigorosamente integrado. 

De acordo com a IDC, muitas das plataformas atuais de inteligência de dados evoluíram a partir de ferramentas de catálogo de dados. Desde 2020, os fornecedores têm agrupado cada vez mais soluções complementares em seus catálogos, como ferramentas de linhagem de dados e mercados de dados, ou incorporaram essas funções diretamente em seus catálogos.1

Pilares centrais da inteligência de dados

A inteligência de dados é um campo em desenvolvimento, com diferentes fornecedores e profissionais apresentando suas próprias visões sobre a disciplina. No entanto, a maioria concorda que a inteligência de dados inclui cinco funções principais:

  • Gerenciamento de metadados
  • Linhagem de dados
  • Governança de dados
  • Qualidade dos dados
  • Integração de dados

Gerenciamento de metadados

Metadados são informações sobre um ponto ou conjunto de dados, como o autor ou o tamanho do arquivo. O gerenciamento de metadados é fundamental para iniciativas de inteligência de dados porque metadados bem gerenciados ajudam os usuários a navegar facilmente em sistemas de dados complexos.

O gerenciamento de metadados ajuda a organizar, rotular, filtrar e classificar conjuntos de dados para que os usuários tenham uma visão completa dos dados disponíveis e possam recuperar rapidamente as informações de que precisam.

O gerenciamento ativo de metadados é particularmente importante para a inteligência de dados. Enquanto o gerenciamento tradicional de metadados é em grande parte manual, o gerenciamento ativo de metadados usa IA e ML para automatizar o processamento de metadados.

À medida que os dados são transformados e usados, seus metadados podem mudar. O gerenciamento ativo de metadados rastreia essas alterações, atualiza automaticamente os metadados e usa metadados para gerar recomendações e alertas. Dessa forma, ele pode agilizar a descoberta de dados, aumentar a confiança nos dados e permitir a proteção e a governança de dados em escala.

Linhagem de dados

A linhagem de dados é o processo de rastrear o fluxo de dados ao longo do tempo. Ela fornece uma compreensão clara da origem dos dados, de como eles foram alterados e de seu destino final no pipeline de dados.

A linhagem de dados ajuda os usuários a entender como os dados mudam ao longo de seu ciclo de vida, tornando os dados corporativos mais confiáveis. Também ajuda as organizações a detectar erros, identificar dependências e prever como as mudanças em um conjunto de dados podem afetar operações corporativas mais amplas e sistemas de TI.

Mistura de Especialistas | Podcast

Decodificando a IA: resumo semanal das notícias

Junte-se a nosso renomado painel de engenheiros, pesquisadores, líderes de produtos e outros enquanto filtram as informações sobre IA para trazerem a você as mais recentes notícias e insights sobre IA.

Governança de dados

A governança de dados ajuda a garantir a integridade de dados e a segurança de dados, ao definir e implementar políticas, normas e procedimentos para coleta, propriedade, armazenamento, processamento e uso de dados.     

A governança de dados ajuda a manter os dados seguros e com alta qualidade, facilmente acessíveis e em conformidade com regras e regulamentações relevantes. Nos esforços de inteligência de dados, as políticas de governança ajudam os usuários a entender como podem e devem usar os dados.  

Por exemplo, políticas de governança podem impedir que cientistas de dados alimentem dados sensíveis de clientes em modelos de IA em violação às leis de privacidade de dados.  

Qualidade dos dados

As ferramentas e práticas de qualidade de dados ajudam a garantir a precisão, integridade, validade, consistência, singularidade, pontualidade e adequação à finalidade de um conjunto de dados. Os esforços de qualidade de dados aumentam a confiança dos usuários nas conclusões e insights que eles extraem dos dados corporativos.

As iniciativas de DI geralmente também incluem Master Data Management (MDM). Os dados mestre são os dados principais de uma organização sobre as principais entidades de negócios, como clientes, produtos e locais. O MDM garante que esses dados sejam limpos e consistentes por meio de validação, mesclagem, deduplicação e enriquecimento.  

Integração de dados

Integração de dados é o processo de combinar e harmonizar dados de várias fontes para facilitar seu uso para fins analíticos, operacionais e de tomada de decisões. A integração pode envolver a padronização de formatos de dados, a transformação de dados em formatos mais utilizáveis e a reunião de dados de fontes díspares em data lakes compartilhados, data warehouses ou data lakehouses.  

A integração agiliza o acesso a dados e o compartilhamento de dados, facilitando para os consumidores de dados a recuperação dos dados de que precisam e a colaboração uns com os outros.

Ferramentas e tecnologia de inteligência de dados

Alguns fornecedores oferecem plataformas de inteligência de dados que combinam várias funcionalidades e funções em uma única solução. Outros oferecem portfólios integrados de soluções complementares. Em ambos os casos, as ferramentas tecnológicas fundamentais por trás da maioria das iniciativas de inteligência de dados incluem: 

  • Catálogos de dados
  • Ferramentas de linhagem de dados
  • Mercados de dados e hubs de produtos 
  • Inteligência artificial e aprendizado de máquina
  • Data lakes, warehouses e lakehouses

Catálogos de dados

Um catálogo de dados usa metadados para criar um inventário detalhado e pesquisável de todos os ativos de dados em uma organização. Isso facilita para os consumidores de dados descobrirem os dados mais adequados para qualquer finalidade analítica ou de negócios. 

Além de inventariar dados, muitos catálogos de dados modernos apresentam recursos como:

  • Mecanismos de governança de dados, incluindo a capacidade de definir e impor políticas de uso, e privacidade de dados, como a remoção automática de informações confidenciais.

  • Gerenciamento ativo de metadados, ao usar IA e ML para gerar metadados automaticamente e atualizar registros à medida que os dados são alterados.

  • Glossários de negócios, que permitem que as organizações criem definições e frameworks padrão para termos, conceitos e entidades principais em toda a organização.

  • Controles de qualidade de dados, como criação de perfis, limpeza, validação e métricas de qualidade de dados.

Ferramentas de linhagem de dados

As ferramentas de linhagem de dados mapeiam automaticamente fluxos de dados, transformações e dependências, oferecendo insights sobre os ciclos de vida dos dados. As soluções de linhagem de dados permitem que as organizações vejam de onde vêm os dados, como eles migram pelo ecossistema de TI corporativo, como eles mudam e como os consumidores de dados os usam.

Mercados de dados e hubs de produtos

Mercados de dados, também chamados de hubs de produtos de dados, são plataformas digitais onde os usuários podem acessar e compartilhar produtos de dados.  

Produtos de dados são conjuntos de dados ou ativos relacionados a dados pré-empacotados, pré-processados e prontamente consumíveis que as pessoas podem usar para auxiliar nos esforços de BI, análise de dados e ciência de dados. Exemplos de produtos de dados incluem conjuntos de dados selecionados, dashboards de análise de dados, modelos de aprendizado de máquina, aplicações especializadas e visualizações de dados.

Os mercados de dados centralizam e simplificam a criação, seleção, gerenciamento e compartilhamento de produtos de dados. Os mercados de dados ajudam a garantir a qualidade e a conformidade de dados com frameworks de governança integrados. Elas também eliminam silos de dados, ao automatizar a entrega de produtos de dados e permitir o compartilhamento em grande escala de produtos de dados de fontes díspares.

Inteligência artificial e aprendizado de máquina

Ferramentas de IA e ML, novas aplicações de IA generativa e grandes modelos de linguagem (LLMs) ajudam a elevar as práticas de inteligência de dados para além do gerenciamento de dados tradicional. Seja como soluções independentes ou incorporadas a outras ferramentas, a IA e o ML podem automatizar o enriquecimento de dados e metadados, simplificar a mineração de dados e possibilitar o gerenciamento avançado de dados de IA.

Por exemplo, um LLM integrado pode gerar e atualizar automaticamente metadados em um catálogo de dados, fornecendo explicações mais fáceis de usar para tornar os dados mais acessíveis a mais stakeholders. As interfaces de linguagem natural desenvolvidas com LLMs permitem que os usuários consultem conjuntos de dados e obtenham insights de dados sem a necessidade de usar linguagem de consulta estruturada (SQL) ou outras linguagens especializadas.

Ferramentas de IA também podem ajudar a impor políticas de governança e controles de qualidade, como descobrir e classificar dados confidenciais ou identificar conjuntos de dados duplicados.  

Data lakes, data warehouses e data lakehouses

Data lakes, data warehouses e data lakehouses são soluções de gerenciamento e armazenamento de dados com diferentes funcionalidades e funções.

  • Os data warehouses agregam, limpam e preparam dados para que possam ser usados para esforços de business intelligence e análise de dados.  

  • Os data lakes armazenam grandes quantidades de dados brutos por um baixo custo.  

  • Os data lakehouses combinam o armazenamento de dados flexível de um lake e os recursos de análise de dados de alto desempenho de um warehouse em uma única solução.

Warehouses, lakes e lakehouses apoiam os esforços de integração de dados, ao permitir que as organizações reúnam dados de diferentes fontes em armazenamentos centralizados. Eles também facilitam o acesso e o uso desses dados para aplicações de análise de dados, BI, IA, ML e ciência de dados.

Benefícios da inteligência de dados

A inteligência de dados ajuda as organizações a:

  • Entender seus dados por meio de catálogos de dados abrangentes, ferramentas de linhagem de dados e gerenciamento ativo de metadados. 

  • Facilitar o acesso a dados por meio de catálogos de dados pesquisáveis, armazenamentos de dados integrados e hubs de produtos de dados centralizados. 

  • Garantir a qualidade de dados por meio de metadados atualizados automaticamente, criação de perfis e limpeza de dados.

  • Orientar o uso de dados por meio de políticas de governança definidas e hubs de produtos de dados que hospedam ativos selecionados para usos específicos.

Como resultado, as organizações podem colher benefícios, como:  

Democratização de dados  

A inteligência de dados promove a alfabetização de dados e permite a análise de dados de autoatendimento, ao fornecer aos usuários os insights de que precisam para entender e usar os dados corporativos. Os stakeholders em todos os níveis e em todas as funções podem usar dados para tomar decisões mais informadas.

Remoção de silos de dados e redução da complexidade de dados

O IBM Data Differentiator relata que 82% das empresas possuem silos de dados que bloqueiam os principais fluxos de trabalho. A inteligência de dados ajuda a erradicar esses silos e reduzir a complexidade da infraestrutura de dados por meio de catálogos e mercados de dados centralizados e unificados.

Os usuários em toda a organização podem encontrar os dados certos para suas finalidades, otimizando a eficiência operacional e aumentando a colaboração.

Como liberar mais valor de negócios

Segundo o Gartner, as organizações perdem em média US$ 12,9 milhões devido à má qualidade de dados.2 Por meio de linhagem de dados, criação de perfis de dados e esforços de governança, a inteligência de dados mantém altos níveis de qualidade de dados para que as organizações possam obter mais valor de seus dados.

Gerenciamento de riscos e conformidade regulatória

A inteligência de dados integra frameworks de governança aos principais pontos de acesso a dados, como catálogos de dados e mercados de dados. Isso ajuda a garantir que os consumidores de dados usem os dados somente para fins autorizados, protegendo contra hacking, roubo, uso indevido e não conformidade. A governança é especialmente importante para setores altamente regulamentados, como finanças e saúde.

Inteligência de dados, IA e inteligência de modelos

De acordo com o IBM Institute for Business Value, 72% dos CEOs de alto desempenho concordam que ter as ferramentas de IA generativa mais avançadas dá à organização uma vantagem competitiva. E a IA generativa avançada requer quantidades maciças de dados de alta qualidade e prontamente acessíveis.

A inteligência de dados ajuda a melhorar a qualidade de dados, facilitar o acesso e impor políticas de governança para garantir que os dados sejam usados apenas para os fins certos, uma parte central da IA responsável

Um caso de uso específico para a inteligência de dados está no campo da inteligência de modelos de IA. Inteligência de modelos é a prática de entender, gerenciar e governar os ciclos de vida dos vários modelos de IA e ML no portfólio de uma organização.

Em vez de depender de um único modelo, muitas organizações hoje usam vários modelos para diferentes fins. As iniciativas de inteligência de dados oferecem às organizações a transparência necessária para selecionar os dados certos para os modelos certos e pelos motivos certos.  

Especificamente, a inteligência de dados pode ajudar as organizações a selecionar os dados certos em termos de governança (esses dados estão autorizados para uso nesse modelo?) e adequação (esses dados são precisos e relevantes o suficiente para esse modelo?)

Além disso, muitos fornecedores estão incorporando funções de gerenciamento de modelos em suas ofertas de inteligência de dados. Por exemplo, alguns catálogos de dados estão introduzindo recursos de catálogo de modelos, permitindo que inventariem os modelos de IA e ML de uma organização da mesma forma que inventariam dados corporativos. 

Como a inteligência de dados se relaciona com outros fluxos de trabalho de dados

Inteligência de dados é uma forma de compreender os dados que uma organização possui: suas características definidoras, como acessá-los e como utilizá-los. A análise de dados, a ciência de dados e a business intelligence são formas de utilizar esses dados.

  • A análise de dados extrai insights praticáveis dos dados para tomar melhores decisões. A análise de dados pode assumir muitas formas, como a análise preditiva(o uso de dados para fazer previsões sobre o futuro) e a análise prescritiva(o uso de dados para determinar o que fazer a seguir).

  • Ciência de dados é uma disciplina especializada que combina matemática, estatística, programação, análise de dados avançada, IA, ML e conhecimento especializado no assunto.  

  • Business intelligence (BI) refere-se às ferramentas e técnicas que as pessoas usam para coletar, gerenciar e analisar dados corporativos para informar as operações de negócios.

A inteligência de dados facilita a análise de dados, a ciência de dados e a BI, ao ajudar os usuários a entender e usar melhor os conjuntos de dados de suas organizações. Quando os usuários sabem que tipo de dados a organização possui e para que eles podem ser usados, eles podem se conectar mais facilmente aos conjuntos de dados certos para seus propósitos.  

Por exemplo, cientistas de dados podem encontrar dados de alta qualidade e em conformidade para treinar algoritmos de aprendizado de máquina; os usuários de BI podem encontrar conjuntos de dados selecionados e adaptados a seus domínios específicos.  

Notas de rodapé
Soluções relacionadas
IBM Knowledge Catalog

Ative os dados para IA e análise de dados com catalogação inteligente e gerenciamento de políticas. O IBM Knowledge Catalog é um software de governança de dados que oferece um catálogo de dados para automatizar a descoberta dos dados, a qualidade dos dados e a proteção dos dados.

Conheça o catálogo de conhecimento
IBM Manta Data Lineage

Saiba como a IBM viabiliza a criação de uma função de dados com governança e preparada para a conformidade. Implemente a transparência nos dados com o IBM Manta Data Lineage hoje mesmo e veja o histórico, o fluxo e os resultados dos seus dados, fazendo trabalharem inteiramente para você.

Explore o IBM® Manta Data Lineage
IBM® Data Product Hub

Saiba como o IBM Data Product Hub ajuda a simplificar o compartilhamento de dados e automatiza a entrega de produtos de dados aos consumidores de dados de toda a organização. 

Explore o Data Product Hub
Dê o próximo passo

Saiba como a inteligência de dados disponibiliza recursos avançados para governar e compartilhar seus dados, gerando decisões de negócios impactantes e ajudando a garantir a conformidade e a qualidade dos dados.

Explore soluções de inteligência de dados Acelere a adoção da IA com dados preparados para ela