En primer lugar, ¿por qué las empresas tienen datos duplicados? Puede haber más una razón válida, como las siguientes:

• Una organización o uno de sus departamentos puede necesitar reutilizar datos originales, por lo que se crean nuevas copias de datos.
• Una empresa puede querer conservar copias duplicadas como parte de su sistema de copias de seguridad en caso de pérdida de datos.
• Una organización podría descubrir que ha almacenado varias copias de los mismos datos, pero en formatos diferentes.

Otro motivo clave por el que se duplican los datos es sencillamente porque eso es lo que suele ocurrir en la mayoría de las organizaciones multidepartamentales. La creación o recreación periódica de datos es una práctica aceptada y natural de la actividad empresarial moderna. Por lo tanto, el verdadero problema no es la creación o replicación de datos, sino su proliferación excesiva.

Si no conllevara una carga económica, la proliferación de datos podría parecer un problema menor de lo que es. Las organizaciones podrían optar por almacenar los datos en varias ubicaciones dentro de la arquitectura informática e ignorar dichas redundancias.

El problema es que mantener un gran número de datos redundantes supone una penalización económica en forma de costes adicionales de almacenamiento. Las organizaciones que no pueden dejar de crear datos redundantes necesitan destinar más mano de obra y presupuesto a implantar nuevas soluciones de almacenamiento y gestión de datos, ya sea en forma de nuevos equipos o en más espacio de almacenamiento en la nube.

El beneficio más obvio de las técnicas de deduplicación es que la eliminación de datos innecesarios reduce la cantidad total de datos que una organización debe almacenar y gestionar. Esto aumenta de forma efectiva la capacidad de almacenamiento de una organización al tener menos datos que ocupan espacio.

Además de reducir los costes de almacenamiento, la deduplicación de datos ofrece otras ventajas clave, como el desarrollo de los planes de data backup y el apoyo a las medidas de emergencia para salvaguardar la recuperación en caso de catástrofe.

Otra ventaja es la revitalización de la integridad de los datos, que se logra al eliminar los datos inútiles y asegurarse de que los restantes se han depurado correctamente. Se ha demostrado que los datos deduplicados son más eficaces y consumen menos energía.

Otro beneficio de la deduplicación de datos es lo bien que funciona con la implementación de infraestructuras de escritorios virtuales (VDI, por sus siglas en inglés), gracias a que los discos duros virtuales que hay detrás los escritorios remotos de las VDI funcionan de forma idéntica. Uno de los productos más populares de escritorio como servicio (DaaS) es Azure Virtual Desktop, de Microsoft, y su VDI de Windows. Estos productos crean máquinas virtuales (VMs) durante el proceso de virtualización del servidor. Y, a su vez, estas máquinas virtuales potencian la tecnología de VDI.

En su nivel más básico, la deduplicación de datos opera a través de funciones automatizadas para identificar duplicaciones en bloques de datos y, a continuación, eliminarlas. Al trabajar en este nivel de bloques, se pueden analizar fragmentos de datos únicos y determinar si merecen ser conservados. Cuando el software de deduplicación detecta una repetición del mismo bloque de datos, se elimina y en su lugar se incluye una referencia a los datos originales.

Otra alternativa es la deduplicación de datos a nivel de archivo. El almacenamiento de datos de instancia única compara copias completas de datos dentro del sistema de archivos, pero no fragmentos o bloques de datos. Al igual que su método homólogo, la deduplicación de archivos depende de mantener el archivo original y eliminar las copias adicionales.

Las técnicas de deduplicación no funcionan de la misma manera que los algoritmos de compresión de datos (por ejemplo, LZ77, LZ78), aunque es cierto que ambos persiguen el mismo objetivo general de reducir las redundancias de datos. Las técnicas de deduplicación lo consiguen a mayor escala que los algoritmos de compresión, cuyo objetivo no es tanto reemplazar archivos idénticos con copias compartidas como codificar de manera eficiente las redundancias de datos.