O que é dark data?

Hoje, a maioria das empresas armazena grandes quantidades de dados obscuros. Em uma pesquisa global da Splunk com mais de 1.300 tomadores de decisão de negócios e TI, 60% dos entrevistados relataram que metade ou mais dos dados de suas organizações são considerados obscuros. Um terço completo dos entrevistados relatou que essa quantidade chega a 75% ou mais.²

Os dados obscuros se acumulam porque as organizações adotaram a ideia de que é valioso armazenar todas as informações que podem capturar em grandes data lakes. Isso se deve em parte ao advento de armazenamento de baixo custo, que tornou fácil justificar o armazenamento de tantos dados, no caso de um dia eles se tornarem valiosos.

No final, a maioria das empresas nunca usa nem uma fração do que armazena, porque o repositório de armazenamento não documenta adequadamente os rótulos de metadados, alguns dos dados estão em um formato que as ferramentas integradas não conseguem ler, ou os dados não são recuperáveis por meio de uma consulta.

Os dados obscuros são um grande limitador na produção de boas análises, porque a qualidade de qualquer análise de dados depende do conjunto de informações acessíveis às ferramentas analíticas, tanto prontamente quanto em detalhes completos.

Outros problemas com os dados obscuros incluem a criação de responsabilidades, altos custos de armazenamento e oportunidades perdidas, devido ao fato de as equipes não perceberem quais dados estão potencialmente disponíveis para elas.

Existem várias causas para que os dados de uma organização se tornem obscuros, incluindo:

• Falta de conscientização: os dados obtidos durante as operações normais de negócios muitas vezes se tornam obscuros porque as organizações ou não estão cientes de sua existência ou não entendem seu valor ou relevância.
  
  
• Dados presos em silos: quando diferentes departamentos dentro de uma organização coletam e armazenam dados de forma independente, isso pode levar à fragmentação e ao isolamento dos dados. Esses silos de dados podem não ser acessíveis ou visíveis para outras equipes, que potencialmente achariam esses dados bastante valiosos.
  
  
• Falta de gestão de dados: sem um robusto framework de gestão de dados, as organizações podem ter dificuldades para gerenciar e rastrear dados de maneira eficaz em todo o seu ecossistema. Isso faz com que os dados se tornem desorganizados, perdidos e inutilizáveis.
  
  
• Sistemas legados: à medida que as organizações atualizam seus softwares e hardwares, sistemas mais antigos podem perder a relevância. Os dados armazenados nesses sistemas legados se tornam obscuros se não puderem ser integrados às ferramentas modernas de análise da organização.
  
  
• Integração de dados incompleta: processos de integração de dados incompletos ou ineficazes podem resultar em lacunas e inconsistências nos dados. Isso pode tornar certos conjuntos de dados inacessíveis ou não devidamente conectados a outras fontes de dados.
  
  
• Mudança das prioridades de negócios: à medida que as prioridades de negócios evoluem, determinados conjuntos de dados podem se tornar menos relevantes ou ficar fora de foco. Dados que antes eram usados ativamente podem ser deixados no escuro à medida que os objetivos organizacionais mudam.
  
  
• Recursos e alfabetização limitados: organizações com recursos limitados podem priorizar a coleta e o armazenamento de dados em detrimento da análise de dados. Além disso, a falta de letramento em dados entre os funcionários pode dificultar a descoberta e a utilização de dados valiosos.
  
  
• Problemas de qualidade de dados: qualidade de dados inferior, como dados imprecisos ou incompletos, podem ser desconsiderados ou ignorados. Dados percebidos como pouco confiáveis têm menos chances de ser utilizados, tornando-os, efetivamente, obscuros.
  
  
• Finalidades de conformidade normativa: muitos padrões de conformidade e governança obrigam as organizações a seguir normas rígidas sobre o tempo de armazenamento de dados confidenciais. Muitas vezes, acabam armazenando os dados por mais tempo do que o necessário, pois não conseguem acompanhar quais dados sensíveis deveriam ser destruídos.
  
  
• Dados redundantes, obsoletos e triviais (ROT): o ROT é criado quando os funcionários salvam múltiplas cópias das mesmas informações, informações desatualizadas e informações extras que não ajudam a organização a atingir seus objetivos.

Em termos de sua capacidade de descoberta para iniciativas de análise de dados oportunas e completas, os dados obscuros podem ser estruturados, não estruturados ou semiestruturados.

Dados estruturados são informações adicionadas a campos de planilhas ou bancos de dados claramente definidos antes de serem armazenadas.

Arquivos de log de servidor, dados de sensores da Internet das coisas (IoT), bancos de dados de gerenciamento de relacionamento com clientes (CRM) e sistemas de planejamento de recursos empresariais (ERP) são exemplos de dados obscuros criados a partir de fontes de dados estruturados.

Embora a maioria dos dados sensíveis, como extratos bancários eletrônicos, registros médicos e dados de clientes criptografados, estejam tipicamente em forma estruturada, é difícil visualizá-los e categorizá-los devido a questões de permissão.

Diferentemente dos dados estruturados, dados não estruturados incluem informações que não podem ser organizadas em bancos de dados ou planilhas para análise sem conversão, codificação, classificação e estruturação.

Correspondências por e-mail, PDFs, documentos de texto, postagens em redes sociais, gravações de centrais de atendimento, logs de bate-papo e imagens de câmeras de segurança são exemplos de dados obscuros criados a partir de fontes de dados não estruturados.

Dados semiestruturados são dados não estruturados que contêm algumas informações em campos de dados definidos. Embora não ofereçam a mesma facilidade de descoberta que os dados estruturados, ainda podem ser pesquisados ou catalogados.

Exemplos incluem código HTML, faturas, gráficos, tabelas e documentos XML.

Os custos de armazenamento de dados obscuros podem ser significativos e se estender bem além do custo financeiro direto de seu armazenamento. Os custos diretos e indiretos incluem:

Às vezes, os dados obscuros são criados devido a problemas de qualidade de dados.

Por exemplo, uma transcrição de uma gravação de áudio é gerada automaticamente, mas a IA que criou a transcrição comete alguns erros. No entanto, alguém mantém a transcrição, pensando que irá resolvê-la em algum momento, o que nunca faz.

Quando as organizações tentam limpar dados de má qualidade, às vezes não identificam o que está causando o problema. Sem o entendimento correto, é impossível garantir que o problema de qualidade de dados não continue acontecendo no futuro.

Essa situação se torna cíclica, porque, em vez de simplesmente aplicar políticas de exclusão de dados obscuros que estão armazenados sem nunca serem usados, as organizações deixam esses dados acumulando, contribuindo para um problema crescente de qualidade de dados.

Felizmente, existem três etapas para o gerenciamento de qualidade de dados que as organizações podem seguir para ajudar a aliviar esse problema:

1. Analisar e identificar a situação "como está": para priorizar os problemas, primeiro identifique todas as questões atuais, padrões de dados existentes e o impacto nos negócios.
   
   
2. Prevenir a recorrência de dados ruins: avalie a causa raiz de cada problema e aplique os recursos para resolvê-lo de maneira sustentável, para que não volte a acontecer.
   
   
3. Comunicar frequentemente durante o processo: compartilhe o que está acontecendo, o que a equipe está fazendo, o impacto desse trabalho e como esses esforços estão conectados aos objetivos empresariais.

Apesar dos custos e problemas de qualidade dos dados obscuros, há pontos positivos. Como a Splunk afirma, "dados obscuros podem ser um dos maiores recursos inexplorados de uma organização"^3.

Ao adotar uma abordagem proativa para gerenciar dados obscuros, as organizações podem iluminar os dados obscuros. Isso não apenas reduz responsabilidades e custos, mas também dá às equipes os recursos de que precisam para descobrir insights a partir de dados ocultos.

Quando se trata de lidar com dados obscuros e potencialmente usá-los para tomar decisões mais bem fundamentadas em dados, há várias práticas recomendadas a serem seguidas:

Os dados obscuros muitas vezes surgem devido a silos dentro da organização. Uma equipe cria dados que poderiam ser úteis para outra, mas essa outra equipe não tem conhecimento deles. Eliminar esses silos torna esses dados acessíveis para a equipe que precisa deles. Dados não utilizados tornam-se recursos de imenso valor.

É importante compreender quais dados existem dentro da organização. Esse esforço começa com a classificação de todos os dados na organização para obter uma visão completa e precisa. A partir daí, as equipes podem começar a organizar melhor seus dados com o objetivo de facilitar o acesso e o uso pelas pessoas em diferentes equipes.

A introdução de uma política de gestão de dados pode ajudar a resolver o desafio a longo prazo. Essa política deve cobrir como todos os dados que chegam à organização são avaliados e oferecer diretrizes claras sobre o que deve ser mantido (e organizado, para garantir um gerenciamento de dados claro), arquivado ou destruído. Uma parte importante dessa política é ser rigoroso sobre quais dados devem ser destruídos e quando. Aplicar a gestão de dados e avaliar regularmente as práticas pode ajudar a minimizar a quantidade de dados obscuros que nunca serão utilizados.

Para ajudar a descobrir dados obscuros, o aprendizado de máquina (ML) e a inteligência artificial (IA) podem realizar a tarefa pesada de categorizar dados obscuros, analisando-os para identificar insights valiosos. Além disso, a automação com ML pode ajudar com as regulamentações de conformidade de privacidade de dados, removendo automaticamente informações sensíveis dos dados armazenados.