¿Qué es el enriquecimiento de datos?

El enriquecimiento de datos es una técnica que permite mejorar la calidad de los datos y la utilidad de los conjuntos de datos complementando los conjuntos de datos con información adicional procedente de fuentes internas o externas.

Las organizaciones están recopilando más datos que nunca, pero a menudo esos datos carecen de contexto o significado. El enriquecimiento de datos ayuda a llenar esos vacíos y a mejorar la comprensión de los puntos de datos existentes, ya sean en forma de datos sin procesar o de un conjunto de datos estructurados. Aumentar los datos de esta manera puede transformar un conjunto de datos de inescrutable a esclarecedor, lo que permite a las organizaciones tomar decisiones más informadas.

Las prácticas de enriquecimiento de datos suelen formar parte de los programas de gestión de datos y gestión de datos maestros de una empresa. Existen varios tipos de enriquecimiento de datos que las organizaciones persiguen en función de sus necesidades empresariales y fuentes de datos, como el enriquecimiento demográfico, firmográfico y geográfico. Aunque los equipos de datos pueden realizar el enriquecimiento de datos manualmente, la inteligencia artificial (IA) y la automatización ayudan a optimizar los procesos de enriquecimiento de datos.

Los casos de uso comunes para el enriquecimiento de datos se encuentran dentro de la estrategia de marketing, pero los procesos de enriquecimiento de datos también pueden desempeñar un papel en áreas como la ciberseguridad, la sanidad y la planificación urbana. El enriquecimiento de datos también ha demostrado ser cada vez más valioso para elevar el rendimiento de los modelos de machine learning; proporciona contexto y datos más completos para predicciones más precisas.

Imagínese un lienzo pintado solo parcialmente, con la mitad inferior cubierta de pinceladas azules que representan un océano, mientras que unas cuantas curiosas manchas doradas flotan en el centro. Sin embargo, una vez terminada la pintura, queda claro que esas manchas son reflejos de la luz: la pintura completa representa la puesta de sol sobre el agua.

Si bien un lienzo inacabado puede ser una obra de arte en sí mismo, también tiene el potencial de ser algo más. Lo mismo ocurre con los conjuntos de datos que se mejoran mediante el enriquecimiento de los datos.

Por ejemplo, cuando una tabla de datos de clientes que sólo contiene nombres y números de teléfono se enriquece con direcciones de correo electrónico, se convierte en una herramienta más potente de divulgación. Cuando un conjunto de datos de direcciones se enriquece con coordenadas geográficas, puede proporcionar perspectivas más profundas sobre el uso del suelo de un barrio.

A medida que las empresas continúan generando y recopilando cantidades masivas de datos sin procesar y datos no estructurados, el enriquecimiento de datos ha adquirido una nueva urgencia. Más datos en bruto y datos no estructurados significan más lagunas y falta de contexto dentro de los conjuntos de datos. Sin embargo, a través del enriquecimiento de datos, las organizaciones pueden correlacionar estos datos con otros puntos de datos que les dan más significado, impulsando un mayor retorno de la inversión en sus activos de datos.

El enriquecimiento de datos produce una variedad de beneficios, que incluyen:

• Mayor precisión de los datos: El enriquecimiento de datos puede subsanar deficiencias en los datos existentes, como direcciones postales incompletas o títulos profesionales faltantes.

• Mayor confianza: ver diferentes dimensiones de los datos, como un conjunto de datos de nombres de empresas enriquecidos con códigos de clasificación de sectores, puede dar a los usuarios la confianza de que están accediendo a los puntos de datos adecuados para sus propósitos.

• Mejor rendimiento de la IA: la inteligencia artificial, incluidos el machine learning y los modelos de IA generativa , funciona mejor cuando se alimenta con datos completos y de alta calidad.

• Perspectivas para la toma de decisiones: los conjuntos de datos exhaustivos obtenidos mediante el enriquecimiento de datos pueden ayudar a las empresas a descubrir nuevos patrones y oportunidades relacionados con las demandas del mercado, la fijación de precios, etc. Por ejemplo, las perspectivas sobre los clientes pueden servir para orientar los esfuerzos de marketing en función de sus preferencias.

• Soporte de cumplimiento: el enriquecimiento de los datos y, en particular, el enriquecimiento de los metadatos, puede facilitar el seguimiento de la información confidencial con sujeción a las normas y leyes de privacidad de datos, como el Reglamento General de Protección de Datos (GDPR).

Los términos "enriquecimiento de datos" y "mejora de datos" se utilizan a menudo indistintamente, pero son procesos distintos. Aunque ambos pueden mejorar la calidad de los datos, la mejora de datos se centra más en trabajar con los datos disponibles, mientras que el enriquecimiento de datos se centra en añadir nuevos puntos de datos adicionales a un conjunto de datos.

En la mejora de datos, la limpieza y actualización de datos son funciones fundamentales. Puede ser necesario añadir algunos datos nuevos con el fin de abordar los valores que faltan en una columna o actualizar información obsoleta, pero la cantidad de datos nuevos que se introducen no está a la escala del enriquecimiento de datos.

Mediante el enriquecimiento de datos, a menudo se añaden nuevos campos a los conjuntos de datos existentes. Al igual que con la mejora de datos, la limpieza de datos forma parte del proceso, pero aquí se hace como preparación para la adición de nueva información. (Consulte "Pasos clave para el enriquecimiento de datos" a continuación).

Las organizaciones suelen utilizar uno o más de los siguientes tipos de enriquecimiento de datos para añadir información a sus conjuntos de datos existentes:

• Enriquecimiento de datos sobre el comportamiento: datos sobre el comportamiento de los clientes y su compromiso con los productos, los servicios y los distintos canales de comunicación, incluidas las aplicaciones móviles y las cuentas en las redes sociales.

• Enriquecimiento de los datos de contacto: Información para enriquecer las listas de contactos, incluidos números de teléfono, direcciones de correo electrónico, afiliaciones empresariales y perfiles en redes sociales.

• Enriquecimiento demográfico: características como la edad, el género, el origen étnico, el estado civil y los ingresos. También conocido como enriquecimiento sociodemográfico.

• Enriquecimiento firmográfico: detalles sobre una empresa, como el sector, el tamaño, los ingresos y la ubicación.

• Enriquecimiento geográfico: información sobre la ubicación de una entidad, como la dirección, el código postal, el país y las coordenadas geográficas.

• Enriquecimiento psicográfico: datos sobre el estilo de vida, los intereses, las actitudes y las creencias de una persona.

• Enriquecimiento tecnológico: datos sobre los tipos de tecnologías utilizadas por un individuo u organización, incluidas aplicaciones, herramientas, hardware, software e infraestructura de TI.

El proceso de enriquecimiento de datos puede variar según la organización, pero hay algunos pasos comunes:

Las organizaciones pueden llevar a cabo el enriquecimiento de datos utilizando sus datos internos, incluidos los datos de origen (datos recogidos directamente de los clientes), así como los datos procedentes de fuentes de terceros.

Las empresas que buscan utilizar datos de fuentes internas pueden encontrarse con un obstáculo: los datos aislados. Afortunadamente, pueden romper esos silos mediante la integración de datos , que es el proceso de reunir datos de fuentes dispares y transformarlos en formatos unificados y utilizables. Por ejemplo, una organización puede enriquecer un conjunto de datos de clientes integrando datos de sistemas de gestión de relaciones con los clientes (CRM) y bases de datos de marketing.

Las empresas también pueden recurrir a fuentes de datos externas, es decir, fuentes de datos públicas y gratuitas y proveedores de datos de terceros. Las fuentes de datos públicos incluyen conjuntos de datos gubernamentales (por ejemplo, datos censales, informes de empleo), mientras que los proveedores de datos de terceros recopilan y venden una serie de datos, incluidos datos de contacto, demográficos y firmográficos. Al seleccionar datos de terceros, las empresas deben trabajar únicamente con fuentes y proveedores confiables para tener la seguridad de que los datos son precisos, puntuales y cumplen con sus estándares de calidad.

Cualquier dato obtenido y almacenado como parte de un proceso de enriquecimiento de datos debe gestionarse de acuerdo con las normas que rigen la protección de datos y seguridad, como el RGPD y la Ley de Portabilidad y Responsabilidad del Seguro Médico (HIPAA). 

Con el crecimiento de la toma de decisiones basada en datos y las necesidades de datos relacionadas con la IA, se ha intensificado la demanda de datos de alta calidad y, por extensión, de herramientas de enriquecimiento de datos. Se prevé que el mercadomundial de soluciones de enriquecimiento de datos alcance casi los 4 600 millones de USD en 2030, frente a los aproximadamente 2 400 millones de USD de 2023.

Si bien la adopción de la IA ayuda a impulsar el uso de soluciones de enriquecimiento de datos, también sustenta algunas de las herramientas de enriquecimiento de datos más avanzadas. Los tipos comunes de herramientas y soluciones de enriquecimiento de datos incluyen:

• Soluciones de integración de datos: Las soluciones de integración de datos admiten procesos de extracción, transformación y carga (ETL) que incluyen el enriquecimiento de datos, así como la limpieza de datos y otras modificaciones de datos. (Es importante tener en cuenta que las soluciones de integración de datos también pueden operacionalizar los datos después de que se hayan enriquecido, cargando los datos enriquecidos en almacenes y otros destinos para su análisis).

• Lagos de datos abiertos: Las principales soluciones de lakehouse de datos pueden automatizar la ingestión y el enriquecimiento de los datos no estructurados y unificarlos con los datos estructurados.

• Software de gobierno de datos: El software Advanced de gobierno de datos implementa grandes modelos de lenguaje (LLMs) para el enriquecimiento de metadatos, mejorando los metadatos técnicos con contexto, etiquetas o descripciones adicionales.

• Soluciones de flujo de trabajo de enriquecimiento agenético: Los agentes de IA pueden agilizar aún más los procesos de enriquecimiento de datos. En un modelo de enriquecimiento de datos agéntico, un usuario crea una hoja de cálculo, activando una interfaz de programación de aplicaciones (API) para encontrar y consumir datos relevantes en tiempo real de la web. La nueva información la procesa un LLM y, a continuación, la añade a la hoja de cálculo.¹

El enriquecimiento de datos tiene aplicaciones en una variedad de campos y sectores.

Los equipos de marketing y los equipos de ventas son usuarios frecuentes del enriquecimiento de datos, en particular el enriquecimiento de datos de comportamiento, el enriquecimiento demográfico y el enriquecimiento firmográfico. Aprovechan datos enriquecidos para construir perfiles de clientes, apoyar Estrategias de segmentación, crear campañas de marketing personalizadas y ofrecer experiencias del cliente.

Los datos espaciales de alta calidad son cruciales para la planificación y el desarrollo urbanos. Una forma de enriquecimiento geográfico conocida como geocodificación deriva las medidas de latitud y longitud de las direcciones de las calles, lo que ayuda a los planificadores urbanos a identificar las ubicaciones con mayor precisión.

Los dispositivos wearable, las aplicaciones de salud y fitness y otras tecnologías de monitorización de la salud están sirviendo como nuevas fuentes de información para enriquecer conjuntos de datos de pacientes y de investigación. Este enriquecimiento puede ayudar a los profesionales médicos a mejorar la atención a los pacientes y ayudar a los investigadores a descubrir patrones y perspectivas importantes.

Los datos de eventos de seguridad pueden enriquecerse con información como las ubicaciones físicas (enriquecimiento geográfico) y los dispositivos que se utilizan (enriquecimiento tecnológico) para mejorar la evaluación de los riesgos y vulnerabilidades de ciberseguridad.