¿Qué es el intercambio de datos?

Las organizaciones que adoptan el análisis de big data reconocen los datos como un activo estratégico valioso en su portfolio. Estos datos provienen de diversas fuentes, como métricas derivadas de aplicaciones de software, datos de comportamiento de los clientes y señales de Internet de las cosas (IoT) de electrodomésticos y sensores.

Piense en los datos como libros en una biblioteca. El intercambio de datos es similar a tener una tarjeta de biblioteca que permite a todos los miembros de la organización acceder y tomar prestados estos libros cuando los necesiten. Sin el intercambio de datos, cada departamento tendría que crear y mantener su propia biblioteca, lo que daría lugar a duplicación, información desactualizada y recursos limitados.

Las organizaciones que comparten datos pueden colaborar de forma más eficaz con los socios, establecer nuevas oportunidades de negocio, formar nuevas asociaciones y generar flujos de ingresos a través de productos de datos y otras formas de monetización. Sin embargo, el intercambio de datos requiere el compromiso de mantener la integridad y fiabilidad de los datos compartidos a lo largo de su ciclo de vida, lo que garantiza que sigan siendo fiables, coherentes y útiles para un análisis preciso. El intercambio de datos exitoso permite a las partes interesadas obtener perspectivas valiosas, desarrollar nuevos servicios y tecnologías y prepararse para las próximas tendencias mediante el análisis de grandes cantidades de datos tanto dentro como fuera de la organización.

Las organizaciones han estado compartiendo datos mucho antes de la invención de Internet, pero los avances en alfabetización digital, tecnología y adopción de la nube han llevado al intercambio de datos en tiempo real a escala global. Las tecnologías de almacenamiento y transferencia de datos están más disponibles y son más asequibles que nunca. Como resultado, las políticas y las regulaciones han evolucionado para reducir los riesgos asociados con el intercambio de datos. Compartir datos es algo más que permitir el acceso para el análisis y la monetización, también rompe las barreras entre las unidades de negocio y los socios externos. Los diferentes equipos pueden trabajar de forma independiente o entre sí, cada uno a partir de la misma fuente de datos actualizada. La mayor cantidad y variedad de datos disponibles permite a diversos equipos de toda la organización contribuir a objetivos organizativos más amplios.

La combinación de información de varias fuentes, como datos de investigación, datos operativos o comentarios de los clientes, mejora el rendimiento del servicio y aumenta el valor de esos servicios. Por ejemplo, las unidades de negocio con acceso a los datos pueden utilizar el análisis de datos para decidir en función de las tendencias del mercado y las preferencias de los clientes y desarrollar estrategias de marketing exitosas.

Además, el intercambio de datos permite a las autoridades y organizaciones públicas compartir sus datos de forma segura, legal y controlada. Una parte esencial de la higiene en el intercambio de datos implica que los productores de datos documenten y etiqueten cuidadosamente los conjuntos de datos con metadatos precisos para apoyar la reproducibilidad. Las descripciones detalladas con definiciones claras garantizan que los demás puedan encontrar, descubrir y comprender fácilmente los datos compartidos.

El Future of Privacy Forum¹ (FPF) analizó las asociaciones de intercambio de datos entre empresas e investigadores académicos y determinó que estas asociaciones pueden acelerar la investigación socialmente beneficiosa, ampliar el acceso a conjuntos de datos valiosos y mejorar la reproducibilidad de los resultados de la investigación. A medida que se generaliza el intercambio de datos, las partes interesadas adoptan medidas proactivas para hacer frente a los riesgos y las violaciones de datos mediante el uso de acuerdos de intercambio de datos (DSA) y tecnologías de mejora de la privacidad (PET).

IBM es un buen ejemplo del uso de protocolos rigurosos de privacidad y seguridad en sus prácticas de intercambio de datos, incluido el uso de PET para anonimizar los datos antes de compartirlos con universidades, organizaciones sin fines de lucro y laboratorios de investigación. El enfoque de IBM apoya el descubrimiento científico y, al mismo tiempo, protege los datos confidenciales y fomenta asociaciones más seguras y eficaces. Por ejemplo, IBM colaboró con Melbourne Water en Australia para analizar los datos destinados a reducir las emisiones de energía. Durante la pandemia de la COVID-19, IBM procesó las secuencias genómicas del SARS-CoV-2 y contribuyó con más de 3 millones de secuencias a un repositorio de investigación.

Otro caso de uso convincente del valor del intercambio de datos proviene de Benefits Data Trust, una organización sin ánimo de lucro estadounidense.² Benefits Data Trust (BDT) promueve el intercambio de datos entre estados y organizaciones involucradas en la atención médica y la educación de EE. UU. A través de acuerdos de intercambio de datos, la BDT impulsa la inscripción en programas públicos cruciales, como el Programa Asistencial de Nutrición Suplementaria (SNAP) y Medicaid.

El Departamento de Servicios Sociales de Carolina del Sur, junto con la BDT, compararon las listas mensuales de Medicaid y SNAP, en las que identificaron a las personas elegibles que no estaban inscritas en el programa. Esta iniciativa ha llevado a más de 20 000 inscripciones al SNAP desde 2015, mejorando el acceso a la asistencia nutricional para las poblaciones vulnerables. En Pensilvania también se han realizado esfuerzos similares que han tenido éxito, y el intercambio de datos ha ayudado a inscribir a unas 240 000 personas en diversos programas de asistencia pública desde 2005.

Aunque el intercambio de datos ofrece muchos beneficios a las empresas, también presenta riesgos. Cuando la información confidencial se distribuye de forma inadecuada, puede exponer a una organización a riesgos normativos, competitivos, financieros y de seguridad. Los consumidores de datos tienen un control limitado sobre la calidad y disponibilidad de los datos. Los datos de baja calidad también pueden albergar prejuicios ocultos contra géneros, razas, religiones o grupos étnicos.

Los procesos de gobierno de datos establecen las políticas, estándares y buenas prácticas para gestionar los datos de forma segura, precisa y coherente en toda la organización. Un gobierno eficaz limita el acceso para que solo los usuarios autorizados tengan permisos de uso de datos. El gobierno también protege, clasifica y ayuda a garantizar que los datos se utilizan en cumplimiento de las normas legales y reglamentarias.

Toda organización tiene la obligación legal y ética de salvaguardar la protección de los datos de los clientes que gestiona. Tecnologías como el cifrado y la redacción de datos permiten compartir datos de forma segura y al mismo tiempo proteger la privacidad. Sin embargo, la falta de comunicación entre productores y consumidores de datos puede dar lugar a interpretaciones erróneas, lo que se traduce en suposiciones incorrectas a la hora de elaborar informes o participar en iniciativas de toma de decisiones basadas en datos.

Por ejemplo, en 2012, Knight Capital Group³ sufrió un problema de negociación debido a la falta de comunicación y coordinación entre los equipos, lo que provocó que perdiera 440 millones de dólares en solo 45 minutos. Una actualización de software activó inadvertidamente un software integrado no probado, indocumentado e inactivo. Como los desarrolladores no comunicaron eficazmente las posibles repercusiones de los cambios en los sistemas de los operadores, se ejecutaron operaciones erróneas a gran velocidad, lo que provocó importantes pérdidas financieras.

El costoso movimiento de datos, especialmente a través de procesos de extracción, transformación y carga (ETL) que consumen muchos recursos, ha obstaculizado tradicionalmente el intercambio generalizado de datos. Mantener la calidad de los datos y las buenas prácticas de gobierno puede ser todo un reto, especialmente cuando se trata de volúmenes masivos de datos. Compartir de forma segura grandes conjuntos de datos a través de las redes lleva mucho tiempo y es una tarea muy técnica que requiere una gran inversión en almacenamiento e infraestructura.

La seguridad de los datos requiere medidas de protección rigurosas y educación para proteger los datos confidenciales. La información que viaja a través de redes y plataformas durante los procesos de intercambio de datos es vulnerable a amenazas como el acceso no autorizado, la vulneración de datos y los ciberataques. Además, las organizaciones deben navegar por complejas leyes y regulaciones de protección de datos cuando comparten datos con socios externos, partes interesadas o proveedores externos.

La implementación de buenas prácticas en el intercambio de datos ayuda a las organizaciones a maximizar los beneficios y minimizar el riesgo.

• Las evaluaciones periódicas pueden ayudar a valorar la eficacia de los datos, los procesos de transferencia de datos y la cultura organizativa en torno al intercambio de datos, y pueden servir para resolver problemas.
• Las soluciones de código abierto para compartir datos ayudan a las organizaciones a evitar la dependencia de los proveedores y a abrir una serie de integraciones desarrolladas por la comunidad con los populares marcos de procesamiento de datos y herramientas de inteligencia empresarial de código abierto, lo que reduce los costes de tecnología e infraestructura.
• Unas políticas de gobierno claras y unos protocolos de intercambio de datos bien definidos conducen a una gestión responsable de los datos. Sin ella, los equipos podrían construir a partir de datos erróneos, y la dirección podría tomar decisiones basadas en datos equivocados, poniendo en peligro a la organización.

Un mercado de datos permite a las organizaciones compartir y monetizar de forma segura sus datos y productos de datos. Hay algunos tipos diferentes de mercados de datos:

• Un mercado de datos interno es para compartir datos dentro de una empresa
• Un mercado de datos privado es para compartir datos con socios de confianza
• Un mercado público de datos sirve para conectar a proveedores de datos y consumidores

Los mercados públicos de datos ofrecen un entorno seguro para que los participantes compren y vendan datos y servicios relacionados, lo que a su vez certifica la alta calidad y coherencia de los proveedores de datos. Las empresas pueden utilizar un mercado de datos para adquirir datos de terceros y enriquecer sus conjuntos de datos existentes o para ofrecer y monetizar nuevos productos y servicios de datos.

Cada tipo de intercambio de datos cumple una función específica a la hora de facilitar un intercambio seguro de información.

• El intercambio interno de datos se centra en romper los silos de datos dentro de la organización para garantizar que todas las partes tengan acceso a los datos necesarios en un entorno seguro.
• El intercambio externo de datos implica a socios, clientes, proveedores y organismos reguladores. Al ser externos, los datos están sujetos a medidas de seguridad más estrictas para proteger la información sensible.
• Dentro de los tipos de datos internos y externos, también hay datos públicos y privados. Los datos públicos son accesibles a cualquiera, mientras que los privados están restringidos a determinadas personas o grupos.

Los tipos de tecnología de intercambio de datos más utilizados entre las organizaciones empresariales son el almacén de datos y el lakehouse de datos. Estos modernos sistemas de arquitectura de datos proporcionan repositorios centrales para la recopilación, el almacenamiento y el intercambio de grandes cantidades de datos desde múltiples unidades de negocio. Estas arquitecturas suelen incluir niveles para clientes frontales, motores de análisis y servidores de bases de datos.

Las interfaces de programación de aplicaciones (API) permiten que los componentes de software comuniquen definiciones y protocolos compartidos. Las API de intercambio de datos admiten controles de acceso y permisos detallados, especificando qué datos pueden y no pueden solicitar los consumidores.

El aprendizaje federado, la tecnología blockchain y las plataformas de intercambio de datos son otras tecnologías que permiten compartir datos. El aprendizaje federado permite que los sistemas de IA se entrenen en conjuntos de datos distribuidos de diversas fuentes sin tener que mover los datos. Blockchain proporciona un libro de contabilidad transparente e inmutable para el seguimiento de las transacciones, incluidas las de los intercambios de datos abiertos, proporcionando una capa de integridad y seguridad a los procesos de intercambio de datos.

Las tecnologías heredadas, como el Secure File Transfer Protocol (SFTP) y el correo electrónico, permiten soluciones locales e independientes del proveedor, pero son cada vez más difíciles de proteger y gobernar. Carecen de funciones de seguridad avanzadas, como cifrado en reposo, controles granulares de acceso a los datos y auditoría automatizada, que son más comunes en las soluciones modernas.

Las soluciones de datos modernas se centran en el intercambio seguro de datos, y el almacenamiento de datos en la nube ofrece escalabilidad y fiabilidad con limitaciones de accesibilidad y seguridad. Las soluciones de intercambio de datos específicas de cada proveedor ofrecen seguridad y escalabilidad integradas, pero a menudo vienen acompañadas de dependencia del proveedor, lo que limita la flexibilidad y aumenta los costes a largo plazo.

Las tecnologías de mejora de la privacidad, las salas limpias de datos y otras tecnologías están mejorando las operaciones de datos a través de la automatización. Estas tendencias destacan el cambio hacia la privacidad, la descentralización y los enfoques impulsados por la IA en el manejo y análisis de datos.

Las tendencias futuras en el intercambio de datos hacen hincapié en la creciente importancia de la privacidad. Las tecnologías que mejoran la privacidad, como el cálculo seguro multipartito y el enmascaramiento de datos, se están convirtiendo en elementos cruciales para equilibrar el intercambio fluido de datos y su protección segura. La adopción de PET da a las empresas una ventaja competitiva, ya que estas herramientas pasan a ser parte integral de las operaciones.

Las salas blancas de datos son entornos seguros y centrados en la privacidad en los que varias partes pueden colaborar en los datos sin compartir datos sin procesar. Permiten a las empresas realizar análisis y obtener información al mismo tiempo que protegen datos confidenciales, de modo que sigan cumpliendo con las regulaciones de privacidad. Las salas blancas ayudan a mantener la confianza entre los socios al evitar la exposición de información personal y permitir compartir datos agregados y anónimos.

Una malla de datos permite a una organización tratar los datos como un producto, haciéndolos detectables y utilizables en un formato de autoservicio. Este enfoque permite a las unidades de negocio crear y gestionar sus productos de datos de forma independiente. También facilita una visión centralizada de los datos en varias plataformas y tecnologías, mejorando la conectividad y la información sin necesidad de plataformas de datos separadas.

Los modelos de lenguaje de gran tamaño (LLM) pueden optimizar la ingeniería y las operaciones de datos mediante la automatización de tareas como la creación de perfiles, el modelado y la integración de datos, lo que mejora la calidad de los datos. La implementación de la IA generativa en las infraestructuras de datos existentes permite a las organizaciones gestionar las tareas rutinarias de forma más eficiente, liberando recursos para análisis y toma de decisiones más complejos.