Os administradores de dados são encarregados de executar programas de administração de dados. As responsabilidades específicas do administrador de dados incluem definir métricas de qualidade de dados, gerenciar metadados e dados de referência, rastrear a linhagem de dados e classificar dados confidenciais.
Diferentes tecnologias e ferramentas podem ser compatíveis com fluxos de trabalho de administração de dados, incluindo inteligência artificial (IA), catálogos de dados, bancos de dados relacionais, plataformas de qualidade de dados e software de governança de dados.
Mantenha-se atualizado sobre as tendências mais importantes (e intrigantes) do setor em IA, automação, dados e muito mais com o boletim informativo Think. Consulte a Declaração de privacidade da IBM.
As empresas hoje estão coletando e analisando mais dados do que nunca na esperança de liberar insights valiosos. No entanto, a coleta e a análise de dados por si só não são suficientes para garantir resultados bem-sucedidos. A administração de dados e os administradores de dados podem apoiar e orientar o uso eficaz de dados dentro de uma cultura baseada em dados.
Nos últimos anos, com a crescente adoção da IA, a administração de dados assumiu uma importância adicional. Os sistemas de IA consomem e produzem enormes quantidades de dados. A administração de dados ajuda a garantir a qualidade e a integridade desses dados, para que os processos de negócios impulsionados por IA sejam eficazes, estejam em conformidade com as regulamentações do governo e estejam alinhados com os padrões de governança e IA ética.
Bons programas de administração de dados permitem uma curadoria de dados bem-sucedida, melhorando a qualidade, acessibilidade, usabilidade e segurança de dados. Os administradores de dados ajudam a garantir que os funcionários possam acessar dados de negócios úteis e precisos para capacitar a tomada de decisões baseada em dados e ganhos de produtividade orientados por IA. Benefícios adicionais da administração de dados incluem interpretação de dados mais consistente e melhor prontidão para auditoria.
Os administradores de dados frequentemente colaboram com uma série de stakeholders, incluindo proprietários de dados, analistas de dados, especialistas em ciência de dados e usuários corporativos, para obter esses benefícios.
Os funcionários que não são formalmente reconhecidos como "administradores de dados" podem, no entanto, ter responsabilidades de administração de dados e dedicar um tempo significativo para atender às necessidades de dados de sua organização, como inventário de dados e avaliação da qualidade de dados. No entanto, alguns especialistas em gerenciamento de dados dizem que formalizar funções de administração de dados é importante, pois indica que uma empresa leva a sério o gerenciamento da qualidade de dados.1
A governança de dados e a administração de dados são conceitos separados, mas relacionados. Os programas de governança de dados das empresas ajudam a garantir a integridade de dados e a segurança de dados por meio de políticas, normas e procedimentos para coleta, propriedade, armazenamento, processamento e uso de dados. Muitas responsabilidades de administração de dados envolvem a implementação de regras descritas nos frameworks de governança de dados. Dessa forma, a administração de dados pode ser considerada “o aspecto operacional” da governança de dados.2
Empresas com programas de administração de dados mais maduros podem ter diferentes tipos de funções de administração de dados, incluindo:
Os casos de uso para administração de dados incluem:
A administração de dados costuma ser fundamental para o master data management (MDM), que é uma abordagem para gerenciar os dados críticos de uma organização por meio de tecnologia, ferramentas e processos. As organizações usam o MDM para criar uma fonte única da verdade que integra dados de várias fontes, de modo que todos os usuários de dados trabalhem com as mesmas informações.
Empresas e administradores de dados muitas vezes começam a implementar uma iniciativa de MDM em um único domínio de dados (agrupamentos lógicos de dados semelhantes, como dados de clientes ou dados de funcionários) antes de escalar esse trabalho em todos os ativos de dados da organização.4
Os administradores de dados podem melhorar a qualidade de dados ao avaliar o conteúdo de um banco de dados, o que é conhecido como criação de perfis de dados. Eles também trabalham com stakeholders de dados para criar definições de dados, projetar métricas de qualidade de dados e estabelecer business rules para dados, como quais valores são considerados válidos ou inválidos.
Por exemplo, como explicado no livro "Data Stewardship", quando os dados coletados são o estado civil de um cliente, uma regra pode determinar que "solteiro", "casado", "viúvo" ou "divorciado" seriam valores válidos, enquanto uma resposta em branco seria considerada inválida.5 Os administradores de dados também podem fornecer input sobre como lidar com problemas de qualidade de dados quando eles surgirem.
Metadados são informações que descrevem um ponto de dados ou conjunto de dados, como a data de criação dos dados ou detalhes de autoria. Os administradores de dados podem ser responsáveis por criar metadados de alta qualidade e avaliar a qualidade dos metadados existentes. Assim como na qualidade de dados, os administradores de dados têm a tarefa de lidar com a qualidade de metadados.
Os administradores de dados frequentemente mantêm dados de referência, que são dados que categorizam outros dados dentro da empresa. Exemplos de dados de referência incluem códigos de países, informações sobre moedas e códigos de produtos. Por meio da documentação de dados, os administradores de dados podem registrar valores válidos para dados de referência, avaliar se novos valores válidos são necessários e reconciliar valores de dados de referência em diferentes sistemas.
No último caso, usando o exemplo do estado civil, um administrador de dados pode ser encarregado de determinar quais ações tomar quando um sistema permite “viúvo” e “divorciado” como dados de estado civil, enquanto outro aceita apenas “casado” e “solteiro”.6
Frequentemente, múltiplas instâncias de dados representam a mesma entidade. Considere, por exemplo, um único cliente que aparece várias vezes no banco de dados de uma rede de farmácias porque teve prescrições diferentes que foram aviadas em diferentes lojas.
Por meio de um processo conhecido como resolução de identidade, os administradores de dados determinam quando diferentes instâncias de dados se referem à mesma entidade. No caso do cliente da farmácia, por exemplo, a resolução de identidade pode ajudar a garantir que interações medicamentosas potencialmente perigosas sejam detectadas ao preencher as prescrições do cliente.7
A segurança da informação é a proteção de informações importantes contra acesso, divulgação, uso, alteração ou interrupção não autorizados. De acordo com as regulamentações de privacidade de dados, as empresas são obrigadas a implementar proteções aprimoradas para informações confidenciais, como dados de saúde. Elas também são obrigadas a cumprir regras que regem o compartilhamento de dados, limitam a coleta de dados e muito mais. Os administradores de dados podem desempenhar um papel na proteção de dados e na conformidade regulatória, ao criar e estabelecer classificações de segurança para diferentes tipos de dados.
A linhagem de dados é o processo de acompanhar os ciclos de vida dos dados, fornecendo uma compreensão clara de onde os dados se originam, como mudaram e seu destino final. Os administradores de dados podem rastrear a linhagem, o que ajuda uma organização a afirmar a integridade de dados para fins de geração de relatórios regulatórios.
A baixa qualidade de dados pode colocar os processos de negócios em risco. Os administradores de dados podem trabalhar com os líderes de processos empresariais para determinar o uso de dados em um processo e o quanto o processo é vulnerável a falhas em caso de baixa qualidade de dados.8
As organizações podem implementar várias soluções e ferramentas para apoiar as atividades de administração de dados, incluindo:
A IA e a administração de dados têm o que alguns podem considerar como uma relação simbiótica. Embora a administração de dados ajude a garantir que os sistemas de IA trabalhem com dados de alta qualidade, as ferramentas baseadas em IA podem otimizar as tarefas de administração de dados. Por exemplo, as ferramentas de preparação de dados habilitadas para IA podem realizar verificações de validação e sinalizar erros, como formatação inadequada, enquanto as ferramentas de prevenção de perda de dados orientadas por IA podem detectar informações confidenciais e aplicar controles de segurança conforme a necessidade.
Um catálogo de dados é um inventário de todos os ativos de dados em uma organização. Ele foi projetado para ajudar os administradores de dados e outros profissionais de dados a encontrar informações de forma fácil e rápida. Os metadados associados a cada ativo de dados permitem a pesquisa do catálogo.
Ferramentas de criação de perfis e análise de dados podem avaliar a consistência e a qualidade dos dados. As funcionalidades dessas ferramentas podem incluir recursos para identificar anomalias, validar fontes de dados e resumir resultados de análises por meio de relatórios personalizados.
Uma maneira pela qual os administradores de dados organizam os dados é por meio de bancos de dados relacionais. Um banco de dados relacional (RDB) é um tipo de banco de dados no qual os dados são organizados em linhas e colunas. As tabelas resultantes podem ser vinculadas para demonstrar as relações entre os pontos de dados. Os sistemas de gerenciamento de bancos de dados relacionais (RDBMS) são soluções de software que os administradores de dados e outros podem usar para manter e atualizar os RDBs.
Os programas de software de governança de dados frequentemente incorporam ferramentas de criação de perfis e análise de dados, bem como recursos orientados por IA. As funcionalidades podem incluir enriquecimento de metadados impulsionado por IA, criação de catálogos de dados, rastreamento de linhagem de dados e o estabelecimento de controle de acesso a dados baseado em funções.
Todos os links são externos a ibm.com.
1, 4 Allen et al. “Multi-Domain Master Data Management.” Morgan Kaufmann. 10 de abril de 2015.
2, 3, 5, 6, 7, 8 Plotkin. “Data Stewardship, Second Edition.” Academic Press. 20 de novembro de 2020.
Operacionalize IA confiável monitorando modelos, gerenciando riscos e aplicando a governança durante o ciclo de vida da sua IA.
Assuma o controle dos seus dados com ferramentas de governança que melhoram a qualidade, garantem a conformidade e possibilitam análise de dados e IA.
Estabeleça práticas de IA responsáveis com orientação de especialista para gerenciar riscos, atender às regulamentações e operacionalizar IA confiável em escala.
1, 4 Allen et al. “Gestão de Dados Mestre Multidomínio.” Morgan Kaufmann. 10 de abril de 2015.
2, 3, 5, 6, 7, 8 Plotkin. “Data Stewardship, Second Edition.” Academic Press. 20 de novembro de 2020.
