O que é gerenciamento de dados?

72% dos CEOs de alto desempenho concordam que a vantagem competitiva depende de quem tem a IA generativa mais avançada. No entanto, para aproveitar os benefícios da inteligência artificial, as organizações precisam primeiro organizar sua arquitetura da informação de forma a tornar os dados acessíveis e utilizáveis.

Os principais desafios de gerenciamento de dados incluem o volume de dados e os silos de dados espalhados por várias localidades e provedores de nuvem. Novos tipos de dados e diversos formatos, como documentos, imagens e vídeos, também apresentam desafios. Além disso, a complexidade e a inconsistência dos conjuntos de dados podem limitar a capacidade da organização de usar os dados para IA.

Como resultado desses desafios, uma estratégia eficaz de gerenciamento de dados tornou-se uma prioridade crescente para que as organizações enfrentem as dificuldades apresentadas pelo big data. Um sistema de gerenciamento de dados moderno e flexível se integra à tecnologia já existente na organização para fornecer dados utilizáveis e de alta qualidade para cientistas de dados, engenheiros de IA e aprendizado de máquina (ML), e usuários corporativos da organização. 

Uma estratégia completa de gerenciamento de dados considera diversos fatores, incluindo como:

• Coletar, integrar e armazenar dados de fontes diversas — incluindo dados estruturados e não estruturados — e provenientes de nuvens híbridas e múltiplas.
  
  
• Manter alta disponibilidade, resiliência e recuperação de desastres dos dados armazenados em múltiplas localidades.
  
  
• Criar ou obter bancos de dados adequados à finalidade, para atender a diversas cargas de trabalho e necessidades de desempenho e custo.
  
  
• Ajudar a garantir o compartilhamento de dados e metadados de negócios entre diferentes áreas da organização, promovendo maior autoatendimento, colaboração e acesso aos dados.
  
  
• Proteger e controlar os dados, atendendo aos requisitos de conformidade e privacidade de dados.
  
  
• Gerenciar o ciclo de vida dos dados desde a criação até a exclusão, com integração de ponta a ponta, controle, linhagem de dados, observabilidade e gerenciamento de dados mestres (MDM).
  
  
• Automatizar a descoberta e a análise de dados com IA generativa aplicada ao gerenciamento de dados.

Embora as ferramentas de gerenciamento de dados para construir aplicações de IA generativa estejam amplamente disponíveis, o verdadeiro valor está nos dados — tanto para clientes quanto para empresas. Grandes volumes de dados de qualidade precisam ser organizados e processados corretamente para treinar modelos com sucesso. Essa abordagem é um caso de uso em rápido crescimento para o gerenciamento moderno de dados.

Por exemplo, uma narração alimentada por IA generativa foi utilizada durante o The Championships 2023 em Wimbledon, acessando informações de 130 milhões de documentos e 2,7 milhões de pontos de dados contextuais em tempo real. Visitantes usando o aplicativo ou site do torneio puderam acessar estatísticas completas, narração lance a lance e comentários de partidas, além de uma previsão precisa de quem venceria a qualquer momento do jogo. Ter a estratégia certa de gerenciamento de dados ajuda a garantir que dados valiosos estejam sempre disponíveis, integrados, controlados, seguros e precisos.

A IA generativa pode oferecer às organizações uma forte vantagem competitiva, mas a estratégia de IA depende da robustez dos dados utilizados. Muitas organizações ainda enfrentam desafios fundamentais com seus dados, desafios esses que são ampliados pela crescente demanda por IA generativa, que exige ainda mais dados, o que, por sua vez, intensifica os problemas de gerenciamento de dados.

Os dados podem estar armazenados em várias localidades, aplicações e nuvens, levando com frequência à criação de silos isolados. Para tornar tudo ainda mais complexo, os usos dos dados também se tornaram mais diversos, com formatos cada vez mais variados e complexos — como imagens, vídeos, documentos e áudio. Mais tempo é necessário para limpeza, integração e preparação dos dados. Esses desafios podem levar as organizações a não aproveitarem plenamente seus ativos de dados para análises e IA.

No entanto, com ferramentas modernas de arquitetura de dados, controle e segurança, os dados podem ser usados com sucesso para gerar novos insights e fazer previsões mais precisas de forma consistente. Essa capacidade permite uma compreensão mais profunda das preferências dos clientes e melhora a experiência do cliente (CX) ao fornecer insights derivados da análise de dados. Além disso, ela viabiliza o desenvolvimento de modelos de negócios inovadores baseados em dados, como ofertas de serviços que dependem de IA generativa, os quais exigem uma base sólida de dados de alta qualidade para o treinamento dos modelos.

Líderes de dados e análise de dados enfrentam grandes desafios ao transformar suas organizações devido à complexidade crescente do cenário de dados em implantações de nuvem híbrida. IA generativa e assistentes de IA, aprendizado de máquina (ML), análise de dados avançada, Internet das coisas (IoT) e automação também exigem grandes volumes de dados para funcionar de forma eficaz. Esses dados precisam ser armazenados, integrados, controlados, transformados e preparados para uma base de dados adequada. E, para construir uma base de dados sólida para IA, as organizações devem focar em criar uma estratégia de gerenciamento de dados centrada em abertura, confiança e colaboração.

O requisito da IA foi resumido por um analista do Gartner®¹: “Dados prontos para IA significam que os dados precisam ser representativos do caso de uso, incluindo todos os padrões, erros, valores discrepantes e comportamentos inesperados necessários para treinar ou executar o modelo de IA para aquele uso específico.”

Executivos de dados e análise podem pensar que dados preparados para IA equivalem a dados de alta qualidade, mas os padrões de qualidade de dados para fins que não envolvem IA nem sempre atendem aos critérios exigidos para IA. No universo da análise de dados, por exemplo, é comum refinar os dados para eliminar valores discrepantes ou adequá-los às expectativas humanas. No entanto, ao treinar um algoritmo, é preciso usar dados representativos.

Governança de dados é um subconjunto do gerenciamento de dados. Isso significa que, quando uma equipe de governança identifica pontos em comum entre conjuntos de dados díspares e deseja integrá-los, será necessário fazer parceria com uma equipe de arquitetura ou engenharia de banco de dados para definir o modelo de dados e a arquitetura de dados que facilitarão os vínculos e fluxos. Outro exemplo diz respeito ao acesso a dados. Uma equipe de governança pode definir políticas sobre o acesso a determinados tipos de dados, como informações pessoalmente identificáveis (PII). Enquanto isso, a equipe de gerenciamento de dados será responsável por conceder esse acesso diretamente ou implementar um mecanismo para isso — como ajustar funções de usuário internas que permitem a aprovação.

O gerenciamento de dados eficaz, com práticas robustas de governança, ajuda a garantir conformidade regulatória. Essa conformidade abrange legislações nacionais e internacionais de privacidade de dados, como o Regulamento Geral de Proteção de Dados (GDPR) e a Lei de Privacidade do Consumidor da Califórnia (CCPA), além de padrões de privacidade e segurança específicos de setores. Estabelecer políticas e procedimentos abrangentes de gerenciamento de dados é essencial para demonstrar ou passar por auditorias que validem essas proteções.

Soluções modernas de gerenciamento de dados fornecem uma maneira eficiente de gerenciar dados e metadados em conjuntos de dados diversos. Esses sistemas são desenvolvidos com o que há de mais atual em software de gerenciamento de dados e bancos de dados ou repositórios de dados confiáveis. Isso pode incluir data lakes transacionais, data warehouses ou data lakehouses, combinados com uma arquitetura de malha de dados que inclui ingestão de dados, governança, linhagem de dados, observabilidade e gerenciamento de dados mestres. Juntas, essas fundações confiáveis fornecem dados de qualidade para consumidores de dados, como produtos de dados, business intelligence (BI), dashboards e modelos de IA — tanto ML tradicional quanto IA generativa.

Uma estratégia sólida de gerenciamento de dados normalmente inclui diversos componentes para alinhar estratégia e operações em toda a organização.

Embora os dados possam ser armazenados antes ou depois do processamento, o tipo de dado e seu propósito geralmente determinam o repositório usado. Enquanto os bancos de dados relacionais organizam os dados em formato tabular, bancos de dados não relacionais não seguem um esquema tão rígido.

Enquanto os bancos de dados relacionais organizam dados em formato tabular, os bancos de dados não relacionais não utilizam um esquema fixo. Um exemplo é uma transferência bancária. Um valor é retirado de uma conta e então depositado em outra. Mas, para que as empresas ofereçam suporte tanto a dados estruturados quanto não estruturados, são necessários bancos de dados desenvolvidos para finalidades específicas. Esses bancos de dados também devem atender a diferentes casos de uso relacionados à análise de dados, IA e aplicações. Eles precisam abranger bancos de dados relacionais e não relacionais, como key-value, documentos, colunas largas, gráficos e in-memory. Esses bancos de dados multimodais oferecem suporte nativo a diferentes tipos de dados e aos modelos de desenvolvimento mais atuais, e são capazes de executar diversos tipos de cargas de trabalho, incluindo IoT, análises de dados, ML e IA.

As boas práticas de gerenciamento de dados recomendam a otimização de data warehouses para análises de alto desempenho com dados estruturados. Isso exige um esquema definido para atender a requisitos específicos de análise de dados para casos de uso como dashboards, visualização de dados e outras tarefas de business intelligence. Esses requisitos geralmente são definidos e documentados por usuários de negócios em parceria com engenheiros de dados, que operam com base no modelo de dados especificado.

A estrutura subjacente de um data warehouse geralmente é organizada como um sistema relacional que usa formato de dados estruturado, obtendo dados de bancos transacionais. No entanto, para dados não estruturados e semiestruturados, os data lakes incorporam dados tanto de sistemas relacionais quanto não relacionais, além de outros dados usados em business intelligence. Os data lakes são frequentemente preferidos em relação a outras opções de armazenamento por oferecerem um ambiente de baixo custo, capaz de armazenar petabytes de dados brutos. 

Os data lakes beneficiam especialmente cientistas de dados, pois permitem a integração de dados estruturados e não estruturados em seus projetos de ciência de dados. No entanto, data warehouses e data lakes apresentam limitações próprias. Formatos de dados proprietários e altos custos de armazenamento limitam a colaboração e a implementação de modelos de IA e ML em ambientes baseados em data warehouse.

Em contraste, data lakes enfrentam dificuldades para extrair insights de forma controlada e com bom desempenho. Um data lakehouse aberto resolve essas limitações ao lidar com vários formatos abertos em armazenamento de objetos na nuvem e ao combinar dados de diversas fontes, incluindo repositórios existentes, para viabilizar análises e IA em escala.

Estratégias de multinuvem e híbridas estão se tornando cada vez mais populares. As tecnologias de IA são impulsionadas por grandes volumes de dados, que exigem repositórios modernos de dados baseados em arquiteturas nativas da nuvem para oferecer escalabilidade, otimização de custos, desempenho aprimorado e continuidade dos negócios. Segundo o Gartner², até o final de 2026, “90% das ferramentas e plataformas de gerenciamento de dados que não oferecerem suporte a recursos e híbridos e de multinuvem serão descontinuadas.”

Embora as ferramentas existentes ajudem administradores de banco de dados (DBAs) a automatizar diversas tarefas convencionais, a intervenção manual ainda é necessária devido à configuração geralmente grande e complexa dos bancos de dados. Sempre que for preciso intervir manualmente, aumenta a probabilidade de erros. Minimizar a necessidade de gerenciamento manual é um dos principais objetivos ao operar bancos de dados como serviços totalmente gerenciados.

Bancos de dados em nuvem totalmente gerenciados automatizam tarefas demoradas, como atualizações, backups, aplicação de patches e manutenção. Essa abordagem libera os DBAs para que se dediquem a tarefas mais valiosas, como otimização de esquemas, desenvolvimento de novos aplicativos nativos da nuvem e suporte a novos casos de uso de IA. Diferentemente das implementações locais, provedores de armazenamento em nuvem também permitem que os usuários iniciem grandes clusters conforme a necessidade, muitas vezes pagando apenas pelo armazenamento usado. Isso significa que, se uma organização precisar de mais poder computacional para concluir um trabalho em algumas horas (em vez de dias), poderá fazê-lo em uma plataforma de nuvem adquirindo mais nós de computação.

Essa transição para plataformas de dados na nuvem também está facilitando a adoção do processamento de dados em streaming contínuo. Ferramentas como o Apache Kafka permitem o processamento de dados quase em tempo real, de modo que os consumidores possam se inscrever em tópicos para receber dados em questão de segundos. No entanto, o processamento em lote ainda tem suas vantagens, sendo mais eficiente para lidar com grandes volumes de dados. Embora o processamento em lote obedeça a um cronograma definido, como diário, semanal ou mensal, ele é ideal para dashboards de desempenho, que normalmente não exigem dados em tempo real.

Mais recentemente, o data fabric surgiu para ajudar com a complexidade de gerenciar esses sistemas de dados. O data fabric utiliza sistemas inteligentes e automatizados para facilitar a integração de ponta a ponta de pipelines de dados e ambientes em nuvem.

Um data fabric também simplifica a entrega de dados de qualidade e fornece um framework para a aplicação de políticas de governança de dados, ajudando a garantir que os dados usados estejam em conformidade. Isso facilita o acesso de autoatendimento a produtos de dados confiáveis ao conectar dados que estão dispersos em silos organizacionais, permitindo que líderes de negócios tenham uma visão mais abrangente do desempenho da empresa. A unificação de dados entre RH, marketing, vendas, cadeia de suprimentos e outras áreas oferece aos líderes uma melhor compreensão de seus clientes.

Um data mesh também pode ser útil. Uma malha de dados é uma arquitetura que facilita a integração de ponta a ponta. Em contraste, uma malha de dados por domínio é uma arquitetura de dados descentralizada que organiza os dados por domínios específicos de negócios — por exemplo, marketing, vendas, atendimento ao cliente e mais. Essa abordagem oferece mais autonomia aos produtores dos conjuntos de dados.

Dentro desta fase do ciclo de vida de gerenciamento de dados, dados brutos são ingeridos de diversas fontes, como APIs da web, aplicativos móveis, dispositivos IoT, formulários, pesquisas e mais.Após a coleta, os dados geralmente são processados ou carregados usando técnicas de integração de dados, como ETL (extrair, transformar, carregar) ou ELT (extrair, carregar, transformar).Embora o ETL tenha sido historicamente o método padrão para integrar e organizar dados em diferentes conjuntos, o ELT vem crescendo em popularidade com o surgimento de plataformas de dados na nuvem e a demanda por dados em tempo real.

Além do processamento em lote, a replicação de dados é um método alternativo de integração que consiste em sincronizar dados de uma origem para um ou mais destinos, ajudando a garantir disponibilidade, confiabilidade e resiliência dos dados. Tecnologias como captura de dados de alteração (CDC) usam replicação baseada em log para capturar mudanças na origem e propagá-las aos sistemas alvo, permitindo que as organizações tomem decisões com base em informações atuais.

Independentemente da técnica de integração de dados utilizada, os dados geralmente são filtrados, combinados ou agregados durante a etapa de processamento para atender aos requisitos de sua finalidade. Essas aplicações podem incluir desde dashboards de business intelligence até algoritmos preditivos de aprendizado de máquina.

O uso de integração contínua e entrega contínua (CI/CD) para controle de versão permite que equipes de dados acompanhem as mudanças em seu código e ativos de dados. O controle de versão possibilita a colaboração eficaz entre equipes, que podem trabalhar simultaneamente em diferentes partes de um projeto e integrar suas mudanças sem conflitos.

A governança de dados promove a disponibilidade e o uso dos dados. Para garantir a conformidade, a governança normalmente inclui processos, políticas e ferramentas relacionadas à qualidade dos dados, acesso, usabilidade e segurança da informação. Por exemplo, conselhos de governança tendem a alinhar taxonomias para garantir que os metadados sejam adicionados de maneira consistente entre diferentes fontes de dados. Uma taxonomia também pode ser documentada em um catálogo de dados para facilitar o acesso dos usuários e promover a democratização dos dados na organização.

Enriquecer dados com o contexto de negócio correto é essencial para a aplicação automatizada de políticas de controle de dados e qualidade. É aqui que entram as regras de acordo de nível de serviço (SLA), garantindo que os dados estejam protegidos e com a qualidade exigida. Também é importante entender a proveniência dos dados e ter transparência em sua jornada pelos pipelines. Isso exige recursos robustos de linhagem de dados para dar visibilidade à movimentação dos dados desde as fontes até os usuários finais. As equipes de controle de dados também definem funções e responsabilidades para garantir acesso adequado. Esse acesso controlado é particularmente importante para manter a privacidade de dados.

A segurança de dados define barreiras de proteção para evitar acesso não autorizado, corrupção ou roubo de informações digitais. À medida que a tecnologia digital se torna mais presente em nossas vidas, cresce o escrutínio sobre as práticas de segurança das empresas modernas. Esse escrutínio é essencial para proteger os dados dos clientes contra cibercriminosos e evitar incidentes que possam exigir recuperação de desastres. Enquanto a perda de dados pode ser desastrosa para qualquer empresa, violações de dados, em particular, podem gerar consequências financeiras e de reputação significativas. As equipes de segurança podem proteger melhor seus dados utilizando criptografia e mascaramento de dados em suas estratégias de segurança.

Observabilidade de dados refere-se à prática de monitorar, gerenciar e manter os dados de forma a garantir sua qualidade, disponibilidade e confiabilidade em vários processos, sistemas e pipelines dentro da organização. Observabilidade de dados consiste em compreender de fato a integridade dos dados de uma organização e seu estado em todo o ecossistema de dados. Inclui várias atividades que vão além do monitoramento tradicional, que apenas descreve um problema. A observabilidade de dados pode ajudar a identificar, diagnosticar e resolver problemas de dados quase em tempo real.

O gerenciamento de dados mestres (MDM) concentra-se na criação de uma visão única e de alta qualidade de entidades essenciais de negócios, como produtos, clientes, funcionários e fornecedores. Ao fornecer visões precisas dos dados mestres e seus relacionamentos, a MDM permite obter insights mais rápidos, melhorar a qualidade dos dados e garantir preparo para conformidade. Com uma visão única de 360 graus dos dados mestres em toda a empresa, a MDM capacita os negócios com os dados certos para impulsionar análises, identificar seus produtos e mercados mais bem-sucedidos e seus clientes de maior valor.

As organizações experimentam diversos benefícios ao iniciar e manter iniciativas de gestão de dados.

Muitas empresas criam inadvertidamente silos de dados internamente. Ferramentas e estruturas modernas de gestão de dados, como malhas de dados e data lakes, ajudam a eliminar silos e dependência de proprietários de dados. Por exemplo, malhas de dados auxiliam na identificação de integrações potenciais entre conjuntos díspares de dados em funções como recursos humanos, marketing e vendas. Enquanto isso, data lakes ingerem dados brutos dessas mesmas áreas, eliminando dependências e evitando que um único proprietário detenha um conjunto de dados.

Conselhos de governança auxiliam na definição de limites de proteção para evitar multas e repercussões negativas que podem ocorrer devido à não conformidade com políticas e regulamentações governamentais. Erros nesse aspecto podem ser custosos tanto do ponto de vista financeiro quanto da reputação da marca.

Embora esse benefício possa não ser imediatamente percebido, provas de conceito bem-sucedidas podem melhorar a experiência do usuário de forma geral, permitindo que as equipes compreendam melhor e personalizem a jornada do cliente por meio de análises mais abrangentes.

A gestão de dados pode ajudar empresas a escalar, mas isso depende fortemente da tecnologia e dos processos adotados. Por exemplo, plataformas em nuvem proporcionam maior flexibilidade, permitindo que os responsáveis pelos dados aumentem ou reduzam sua capacidade de processamento conforme necessário.

Na última década, os avanços em nuvem híbrida, inteligência artificial, Internet das coisas (IoT) e edge computing levaram ao crescimento exponencial dos dados, criando ainda mais complexidade para as empresas gerenciarem. Novos componentes continuam a melhorar os recursos de gestão de dados. A seguir, alguns dos mais recentes:

Para impulsionar ainda mais os recursos de gestão de dados, a gestão de dados aumentada está se tornando cada vez mais popular. Trata-se de um ramo da inteligência aumentada, impulsionado por tecnologias cognitivas como IA, aprendizado de máquina, automação de dados, malha de dados e data mesh. Os benefícios dessa automação incluem permitir que os responsáveis criem produtos de dados, como catálogos de ativos de dados, com funcionalidades para buscar e localizar produtos, consultar visuais e ativos por meio de APIs. Além disso, insights de metadados da malha de dados podem ajudar a automatizar tarefas ao aprender com padrões, seja como parte do processo de criação de produtos de dados, seja como parte do processo de gerenciamento de dados para monitorar produtos de dados.

Um repositório de dados para IA generativa, como o IBM® watsonx.data™, pode ajudar organizações a unificar, selecionar e preparar dados com eficiência para modelos e aplicações de IA. Funcionalidades integradas de vetorização e embeddings possibilitam casos de uso de geração aumentada por recuperação (RAG) em larga escala com grandes conjuntos de dados confiáveis e governados.

Para simplificar a conectividade e segurança entre aplicações em diferentes plataformas, clusters e nuvens, uma implementação em nuvem híbrida pode ser útil. Aplicações podem ser facilmente implementadas e transferidas entre ambientes porque os contêineres e o armazenamento de objetos tornaram a computação e os dados portáteis.

Para acelerar o acesso aos dados e liberar novos insights sem o uso de SQL, as organizações estão criando uma camada semântica incorporável, orientada por IA. Essa é uma camada de metadados e abstração construída sobre os dados de origem da organização, como um data lake ou data warehouse. Os metadados podem enriquecer o modelo de dados em uso e também ser suficientemente claros para que os usuários corporativos compreendam.

As organizações podem acessar dados em uma nuvem híbrida conectando ambientes de armazenamento e de análise. Esse acesso pode ser feito por meio de um único ponto de entrada com uma camada de metadados compartilhada entre ambientes em nuvem e no local. Diversos mecanismos de consulta podem ser utilizados para otimizar cargas de trabalho de análise e de IA.

Criar uma camada de metadados compartilhada em um data lakehouse para catalogar e compartilhar dados é uma prática recomendada. Isso acelera a descoberta e o enriquecimento, a análise de dados de múltiplas fontes, a execução de diversas cargas de trabalho e casos de uso.

Além disso, uma ferramenta de gerenciamento de metadados compartilhados acelera o gerenciamento de objetos em um repositório compartilhado. Ela pode ser usada para adicionar um novo sistema host, adicionar um novo banco de dados ou arquivo de dados, ou adicionar um novo esquema, além de excluir itens de um repositório compartilhado.