¿Qué es la deduplicación de datos?

Al implementar procesos y técnicas de deduplicación de datos, se aseguran de que solo existe una única instancia de datos en su sistema de almacenamiento. De este modo, eliminan los datos duplicados o redundantes y remiten a los usuarios a una sola instancia de datos.

Cuando se aplica con éxito, la deduplicación de datos optimiza el espacio de almacenamiento y ayuda a reducir costes.

En primer lugar, ¿por qué las empresas tienen datos duplicados? Puede haber una o varias razones válidas, como las siguientes:

• Una organización o uno de sus departamentos puede necesitar reutilizar datos originales, por lo que se crean nuevas copias de datos.
• Una empresa puede querer conservar copias duplicadas como parte de su sistema de copias de seguridad en caso de pérdida de datos.
• Una organización podría descubrir que ha almacenado varias copias de los mismos datos, pero en formatos diferentes.

Otro motivo clave por el que se duplican los datos es sencillamente porque eso es lo que suele ocurrir en la mayoría de las organizaciones multidepartamentales. La creación o recreación periódica de datos es una práctica aceptada y natural de la actividad empresarial moderna. Por lo tanto, el verdadero problema no es la creación o replicación de datos, sino su proliferación excesiva.

Si no conllevara una carga económica, la proliferación de datos podría parecer un problema menor de lo que es. Las organizaciones podrían optar por almacenar los datos en varias ubicaciones dentro de la arquitectura informática e ignorar dichas redundancias.

El problema es que mantener un gran número de datos redundantes supone una penalización económica en forma de costes adicionales de almacenamiento. Las organizaciones que no pueden dejar de crear datos redundantes necesitan destinar más mano de obra y presupuesto a implantar nuevas soluciones de almacenamiento y gestión de datos, ya sea en forma de nuevos equipos o en más espacio de almacenamiento en la nube.

El beneficio más obvio de las técnicas de deduplicación es que la eliminación de datos innecesarios reduce la cantidad total de datos que una organización debe almacenar y gestionar. Esto aumenta de forma efectiva la capacidad de almacenamiento de una organización al tener menos datos que ocupan espacio.

Además de reducir los costes de almacenamiento, la deduplicación de datos ofrece otras ventajas clave, como el desarrollo de los planes de copia de seguridad de datos y el apoyo a las medidas de emergencia para salvaguardar la recuperación ante desastres.

Otra ventaja es la revitalización de la integridad de los datos, que se logra al eliminar los datos inútiles y asegurarse de que los restantes se han depurado correctamente. Se ha demostrado que los datos deduplicados son más eficaces y consumen menos energía.

Otro beneficio de la deduplicación de datos es lo bien que funciona con las implementaciones de infraestructura de escritorio virtual (VDI), gracias al hecho de que los discos duros virtuales detrás de los escritorios remotos de VDI funcionan de manera idéntica. Entre los productos populares de escritorio como servicio (DaaS) se incluyen Azure Virtual Desktop, de Microsoft, y su VDI de Windows. Estos productos crean máquinas virtuales (VM), que se crean durante el proceso de virtualización de servidores. A su vez, estas máquinas virtuales potencian la tecnología VDI.

En su nivel más básico, la deduplicación de datos opera a través de funciones automatizadas para identificar duplicaciones en bloques de datos y, a continuación, eliminarlas. Al trabajar en este nivel de bloques, se pueden analizar fragmentos de datos únicos y determinar si merecen ser conservados. Cuando el software de deduplicación detecta una repetición del mismo bloque de datos, se elimina y en su lugar se incluye una referencia a los datos originales.

Otra alternativa es la deduplicación de datos a nivel de archivo. El almacenamiento de datos de instancia única compara copias completas de datos dentro del sistema de archivos, pero no fragmentos o bloques de datos. Al igual que su método homólogo, la deduplicación de archivos depende de mantener el archivo original y eliminar las copias adicionales.

Las técnicas de deduplicación no funcionan de la misma manera que los algoritmos de compresión de datos (por ejemplo, LZ77, LZ78), aunque es cierto que ambos persiguen el mismo objetivo general de reducir las redundancias de datos. Las técnicas de deduplicación lo consiguen a mayor escala que los algoritmos de compresión, cuyo objetivo no es tanto reemplazar archivos idénticos con copias compartidas como codificar de manera eficiente las redundancias de datos.

Existen dos tipos básicos de deduplicación de datos que dependen del momento en que se producen los procesos.

Ambos tipos de deduplicación de datos se ven afectados por los cálculos hash inherentes a la deduplicación de datos. Estos cálculos criptográficos son fundamentales para identificar patrones repetidos en los datos. Durante la deduplicación en línea, dichos cálculos se realizan en el momento, lo que puede acaparar y desbordar temporalmente la funcionalidad del equipo. En las deduplicaciones posteriores al procesamiento, los cálculos hash se pueden realizar en cualquier momento después de añadir los datos.

Pero las pequeñas diferencias entre los tipos de deduplicación no acaban ahí. Una segunda forma de clasificar los tipos de deduplicación se basa en el lugar donde se desarrollan dichos procesos.

Dado que existen diferentes tipos de métodos de deduplicación, las organizaciones con visión de futuro deben tomar decisiones meditadas sobre el tipo de deduplicación que eligen, y sopesar ese método en función de las necesidades particulares de la empresa.

En muchos casos de uso, el método de deduplicación escogido por una organización puede reducirse a diversas variables internas, como las siguientes:

• La cantidad y el tipo de conjuntos de datos creados
• El principal sistema de almacenamiento de la organización
• Qué entornos virtuales se están usando
• En qué aplicaciones confía la empresa