O que é a eliminação de duplicações de dados?

As organizações podem implementar processos e técnicas de deduplicação de dados para garantir que apenas uma instância única de dados exista dentro de seu sistema de armazenamento. Dados duplicados ou redundantes são removidos, e os usuários são direcionados para uma única instância dos dados.

Quando a deduplicação de dados é bem-sucedida, ela pode melhorar a utilização geral do armazenamento de uma organização e ajudar a reduzir os custos.

Então, por que uma empresa criaria dados duplicados? Pode haver uma ou mais razões válidas, incluindo as seguintes:

• Uma organização ou um de seus departamentos pode precisar reutilizar dados originais, o que leva à criação de novas cópias de dados.
• Uma empresa pode querer manter cópias duplicadas como parte de seu sistema de backup, para o caso de um evento de perda de dados.
• Uma organização pode descobrir que manteve múltiplas cópias dos mesmos dados, mas armazenadas em formatos diferentes.

Outra razão importante para a duplicação de dados é simplesmente o fato de que isso costuma ocorrer naturalmente na maioria das organizações com vários departamentos. Dados são regularmente criados ou recriados como uma função orgânica e aceita no contexto moderno de negócios. Portanto, a criação ou replicação de dados em si não é o verdadeiro problema; a proliferação excessiva de dados é.

Se não houvesse encargos financeiros adicionais associados a isso, a proliferação de dados poderia parecer um problema menor do que realmente é. Uma organização poderia optar por armazenar dados em vários locais dentro de sua arquitetura de TI sem se preocupar com essas redundâncias.

Mas a realidade é que uma empresa incorre em penalidades financeiras ao manter um grande volume de redundâncias de dados, na forma de custos extras de armazenamento. Organizações que não conseguem parar de criar redundâncias de dados precisam alocar mais mão de obra e orçamento para implementar novas soluções de armazenamento e gerenciamento de dados, seja por meio da compra de novos hardwares ou da expansão do armazenamento em nuvem.

O benefício mais óbvio das técnicas de deduplicação de dados é que eliminar dados supérfluos reduz a quantidade total de dados que uma organização precisa armazenar e gerenciar. Isso efetivamente aumenta a capacidade de armazenamento da organização, liberando espaço para outros usos.

Além da redução de custos de armazenamento, a deduplicação de dados oferece outras vantagens importantes, como o fortalecimento dos planos de backup de dados e o suporte às medidas de emergência para proteção de recuperação de desastres.

Outro benefício é a revitalização da integridade dos dados, removendo “dados mortos” e garantindo que os dados restantes estejam devidamente limpos. Dados deduplicados mostraram operar melhor e consumir menos energia.

Outro benefício da deduplicação de dados é sua eficiência em implementações de infraestruturas de desktop virtual (VDI), graças ao fato de que os discos rígidos virtuais por trás dos desktops remotos da VDI operam de maneira idêntica. Produtos populares de Desktop como Serviço (DaaS) incluem o Azure Virtual Desktop, da Microsoft, e o Windows VDI. Esses produtos utilizam máquinas virtuais (VMs), criadas durante o processo de virtualização de servidores, que viabilizam a tecnologia VDI.

Em seu nível mais básico, a deduplicação de dados funciona por meio de funções automatizadas que identificam duplicações em blocos de dados e, em seguida, removem essas duplicações. Trabalhando nesse nível de bloco, pedaços únicos de dados são analisados e marcados para preservação. Quando o software de deduplicação detecta uma repetição do mesmo bloco de dados, essa repetição é removida e substituída por uma referência ao dado original.

Um método alternativo de deduplicação de dados opera no nível de arquivo. O armazenamento de dados em instância única compara cópias completas de dados dentro do sistema de arquivos, mas não fragmentos ou blocos de dados. Assim como o método equivalente, a deduplicação de arquivos depende da manutenção do arquivo original e da remoção de cópias extras.

As técnicas de deduplicação não funcionam exatamente da mesma maneira que os algoritmos de compressão de dados (como LZ77, LZ78), embora ambos persigam o mesmo objetivo geral de reduzir redundâncias. A deduplicação atua em uma escala macro, substituindo arquivos idênticos por cópias únicas, enquanto os algoritmos de compressão focam mais em codificar eficientemente redundâncias de dados dentro dos próprios arquivos.

Existem dois tipos básicos de deduplicação de dados, dependendo de quando o processo ocorre:

Ambos os tipos de deduplicação de dados são afetados pelos cálculos de hash inerentes à deduplicação. Esses cálculos criptográficos são essenciais para identificar padrões repetidos nos dados. Durante a deduplicação em linha, esses cálculos são realizados em tempo real, o que pode dominar e temporariamente sobrecarregar a funcionalidade do computador. Já na deduplicação pós-processamento, os cálculos de hash podem ser realizados a qualquer momento após os dados terem sido armazenados.

As sutis diferenças entre os tipos de deduplicação não param por aí. Uma segunda maneira de classificar os tipos de deduplicação é baseada em onde esses processos ocorrem.

Como existem diferentes métodos de deduplicação praticados, organizações mais avançadas devem tomar decisões cuidadosas e bem ponderadas sobre o tipo de deduplicação que escolherão, equilibrando o método em função das necessidades específicas da empresa.

Em muitos casos de uso, o método de deduplicação escolhido por uma organização pode depender de várias variáveis internas, tais como:

• Quantos e quais tipos de conjuntos de dados estão sendo criados
• O principal sistema de armazenamento da organização
• Quais ambientes virtuais estão em uso
• Quais aplicativos são essenciais para a empresa