¿Qué es la deduplicación de datos?

Las organizaciones pueden implementar procesos y técnicas de deduplicación de datos para asegurarse de que solo existe una instancia única de datos dentro de su sistema de almacenamiento. Los datos duplicados o redundantes se eliminan y los usuarios son dirigidos a una única instancia de los datos.

Cuando la deduplicación de datos es eficaz, puede mejorar la utilización general del almacenamiento de una organización y ayudar a reducir costos.

De todos modos, ¿por qué iba una empresa a crear datos duplicados? Podría haber una o más de cualquier número de razones válidas, incluyendo las siguientes:

• Una organización o uno de sus departamentos puede necesitar dar una nueva finalidad a los datos originales, por lo que se crean nuevas copias de datos.
• Una empresa podría querer conservar copias duplicadas como parte de su sistema de copias de seguridad en caso de que se produzca un evento de pérdida de datos.
• Una organización podría descubrir que ha conservado múltiples copias de los mismos datos, pero almacenados en formatos diferentes.

Otra razón clave para la duplicación de datos es simplemente porque eso es lo que suele ocurrir en la mayoría de las organizaciones multidepartamentales. Los datos se crean o se vuelven a crear regularmente como una función aceptada y orgánica de hacer negocios en un contexto moderno. Por lo tanto, la creación o replicación de datos no es el problema real, sino la proliferación excesiva de datos.

Si no hubiera cargas financieras adicionales asociadas a ella, la proliferación de datos podría parecer un problema menor de lo que es. Una organización podría optar por almacenar los datos en varias ubicaciones dentro de su arquitectura informática y no preocuparse por esas redundancias.

Pero el hecho es que una empresa incurre en penalizaciones financieras al mantener un gran número de redundancias de datos en forma de costos adicionales de almacenamiento. Las organizaciones que no pueden dejar de crear redundancias de datos necesitan asignar más mano de obra y presupuesto a la implementación de nuevas soluciones de almacenamiento y gestión de datos, ya sea que se basen en nuevas compras de hardware o en la incorporación de almacenamiento en la nube.

El beneficio más obvio de las técnicas de deduplicación de datos es que la eliminación de datos superfluos reduce la cantidad total de datos que una organización debe almacenar y gestionar. Esto aumenta de forma efectiva la capacidad de almacenamiento de una organización al tener menos datos para ocupar el espacio de almacenamiento.

Además de reducir los costos de almacenamiento, la deduplicación de datos ofrece otras ventajas clave, como el fomento de los planes de copia de seguridad de los datos y el apoyo a las medidas de emergencia para salvaguardar la recuperación ante desastres.

Otra ventaja es la revitalización de la integridad de los datos al eliminar los datos de "peso muerto" y asegurarse de que los datos restantes se han limpiado adecuadamente. Se ha demostrado que los datos deduplicados se ejecutan mejor e incorporan menos energía.

Otro beneficio de la deduplicación de datos es lo bien que funciona con los despliegues de infraestructura de escritorios virtuales (VDI), gracias al hecho de que los discos duros virtuales detrás de los escritorios remotos del VDI operan de manera idéntica. Los productos populares de Desktop as a Service (DaaS) incluyen Azure Virtual Desktop, de Microsoft y su Windows VDI. Estos productos fabrican máquinas virtuales (VM), que se crean durante el proceso de virtualización del servidor. A su vez, estas máquinas virtuales potencian la tecnología VDI

En su nivel más básico, la deduplicación de datos opera mediante funciones automatizadas para identificar duplicaciones en los bloques de datos y, a continuación, eliminarlas. Al trabajar a este nivel de bloque, los fragmentos de datos únicos pueden analizarse y especificarse como dignos de preservación. Entonces, cuando el software de deduplicación detecta una repetición del mismo bloque de datos, esa repetición se elimina y en su lugar se incluye una referencia a los datos originales.

Otra alternativa es la deduplicación de datos a nivel de archivo. El almacenamiento de datos de instancia única compara copias completas de datos dentro del sistema de archivos, pero no fragmentos o bloques de datos. Al igual que su método homólogo, la deduplicación de archivos depende de mantener el archivo original y eliminar las copias adicionales.

Las técnicas de deduplicación no funcionan exactamente igual que los algoritmos de compresión de datos (por ejemplo, LZ77, LZ78), aunque es cierto que ambos persiguen el mismo objetivo general de reducir las redundancias de datos. Las técnicas de deduplicación logran este objetivo a una escala mayor y macro que los algoritmos de compresión, cuyo objetivo consiste menos en reemplazar archivos idénticos por copias compartidas y más en codificar eficazmente las redundancias de datos.

Existen dos tipos básicos de deduplicación de datos que dependen del momento en que se produzcan los procesos.

Ambos tipos de deduplicación de datos se ven afectados por los cálculos hash inherentes a la deduplicación de datos. Estos cálculos criptográficos son esenciales para identificar patrones repetidos en los datos. Durante la deduplicación en línea, esos cálculos se realizan en el momento, lo que puede dominar y sobrecargar temporalmente la funcionalidad de la computadora. En las deduplicaciones posteriores al proceso, los cálculos hash pueden realizarse en cualquier momento después de agregar los datos.

Las sutiles diferencias entre los tipos de deduplicación no acaban ahí. Una segunda forma de clasificar los tipos de deduplicación se basa en dónde estén estos procesos.

Dado que existen diferentes tipos de métodos de deduplicación que se practican, las organizaciones con visión de futuro deben tomar decisiones cuidadosas y meditadas sobre el tipo de deduplicación que eligen, equilibrando ese método con las necesidades particulares de esa empresa.

En muchos casos de uso, el método de deduplicación elegido por una organización puede muy bien reducirse a diversas variables internas, como las siguientes:

• Cuántos y qué tipo de conjuntos de datos se están creando
• El sistema de almacenamiento primario de la organización
• Qué entornos virtuales se utilizan
• En qué aplicaciones confía la empresa