¿Qué es el intercambio de datos?

Las organizaciones estuvieron compartiendo datos mucho antes de la invención de Internet, pero los avances en alfabetización digital, tecnología y adopción de la nube llevaron al intercambio de datos en tiempo real a escala global. Las tecnologías de almacenamiento y transferencia de datos están más disponibles y son más asequibles que nunca. Como resultado, las políticas y regulaciones evolucionaron para reducir los riesgos asociados con el intercambio de datos. El intercambio de datos es más que solo permitir el acceso para el análisis y la monetización, también rompe las barreras entre las unidades de negocio y los socios externos. Los diferentes equipos pueden trabajar de forma independiente o entre sí, cada uno a partir de la misma fuente de datos actualizada. El aumento de la cantidad y variedad de datos disponibles permite que diversos equipos de la organización contribuyan a objetivos organizacionales más amplios.

La combinación de información de diversas fuentes, como datos de investigación, datos operativos o feedback de los clientes, mejora el rendimiento del servicio y aumenta el valor de esos servicios. Por ejemplo, las unidades de negocio con acceso a los datos pueden emplear el análisis de datos para decidir en función de las tendencias del mercado y las preferencias de los clientes y desarrollar estrategias de marketing exitosas.

Además, el intercambio de datos permite a las autoridades públicas y a las organizaciones compartir sus datos de forma segura, legal y gobernada. Una parte esencial de la higiene del intercambio de datos implica que los productores de datos documenten y etiqueten cuidadosamente los conjuntos de datos con metadatos precisos para respaldar la reproducibilidad. Las descripciones detalladas con definiciones claras garantizan que otros puedan encontrar, descubrir y comprender fácilmente los datos compartidos.

El Foro de Future of Privacy¹ (FPF) analizó las asociaciones de intercambio de datos entre empresas e investigadores académicos y determinó que estas asociaciones pueden acelerar la investigación socialmente beneficiosa, ampliar el acceso a conjuntos de datos valiosos y mejorar la reproducibilidad de los resultados de la investigación. A medida que se generaliza el intercambio de datos, los stakeholders están tomando medidas proactivas para abordar los riesgos y las filtraciones de datos mediante el uso de acuerdos de intercambio de datos (DSAs) y tecnologías de mejora de la privacidad (PETs).

IBM® proporciona un buen ejemplo del empleo de protocolos rigurosos de privacidad y seguridad en sus prácticas de intercambio de datos, incluyendo el uso de PETs para anonimizar los datos antes de compartirlos con universidades, organizaciones sin fines de lucro y laboratorios de investigación. El enfoque de IBM respalda el descubrimiento científico al tiempo que protege los datos confidenciales, fomentando asociaciones más seguras y eficaces. Por ejemplo, IBM colaboró con Melbourne Water en Australia para analizar datos destinados a reducir las emisiones de energía. Durante la pandemia de COVID-19, IBM procesó secuencias genómicas de SARS-CoV-2, contribuyendo con más de 3 millones de secuencias a un repositorio de investigación.

Otro caso de uso convincente del valor de compartir datos procede de la organización estadounidense sin ánimo de lucro Benefits Data Trust.² Benefits Data Trust (BDT) promueve el intercambio de datos entre estados y organizaciones implicadas en el cuidado de la salud y la educación estadounidenses. Mediante acuerdos de intercambio de datos, la BDT impulsa la inscripción en programas públicos críticos como el Programa de Asistencia Nutricional Complementaria (SNAP) y Medicaid.

El Departamento de Servicios Sociales de Carolina del Sur, junto con el BDT, comparó las listas mensuales de Medicaid y SNAP, donde identificaron a las personas elegibles que no estaban inscritas en el programa. Esta iniciativa dio lugar a más de 20,000 inscripciones más en el SNAP desde 2015, mejorando el acceso a la asistencia nutricional para las poblaciones vulnerables. Esfuerzos similares en Pensilvania también tuvieron éxito, ya que el intercambio de datos ayudó a inscribir a unas 240,000 personas en diversos programas de asistencia pública desde 2005.

Si bien compartir datos ofrece muchos beneficios a las empresas, también presenta riesgos. Cuando la información confidencial se distribuye de forma inadecuada, puede exponer a una organización a riesgos regulatorios, competitivos, financieros y de seguridad. Los consumidores de datos tienen un control limitado sobre la calidad y disponibilidad de los datos. Los datos de baja calidad también pueden albergar sesgos ocultos contra géneros, razas, religiones o grupos étnicos.

Los procesos de gobernanza de datos establecen las políticas, los estándares y las mejores prácticas para gestionar los datos de forma segura, precisa y consistente en toda la organización. Una gobernanza eficaz limita el acceso para que solo los usuarios autorizados tengan licencias de uso de datos. La gobernanza también protege, clasifica y ayuda a garantizar que los datos se empleen de conformidad con los organismos legales y reguladores.

Toda organización tiene obligaciones legales y éticas para salvaguardar la privacidad de los datos de los clientes que gestiona. Las tecnologías, como el cifrado y la redacción de datos, permiten compartir datos de forma segura y, al mismo tiempo, proteger la privacidad. Sin embargo, la falta de comunicación entre los productores de datos y los consumidores puede dar lugar a interpretaciones erróneas, lo que da lugar a suposiciones incorrectas al elaborar reportes o participar en iniciativas de toma de decisiones basadas en datos.

Por ejemplo, en 2012, Knight Capital Group³ sufrió una falla comercial debido a la falta de comunicación y coordinación entre los equipos, lo que les hizo perder 440 millones de dólares en solo 45 minutos. Una actualización de software activó inadvertidamente una pieza de software integrada no probada, no documentada e inactiva. Debido a que los desarrolladores no comunicaron de manera efectiva los impactos potenciales de los cambios en los sistemas de los comerciantes, se ejecutaron operaciones erróneas a alta velocidad, lo que resultó en pérdidas financieras significativas.

El costoso movimiento de datos, especialmente a través de procesos intensivos en recursos de extracción, transformación y carga (ETL), obstaculizó tradicionalmente el intercambio generalizado de datos. Mantener las mejores prácticas de calidad de datos y gobernanza puede ser un desafío, especialmente cuando se trata de volúmenes masivos de datos. Compartir de forma segura grandes conjuntos de datos a través de redes requiere mucho tiempo y es altamente técnico, además de una gran inversión en almacenamiento e infraestructura.

La seguridad de los datos requiere medidas de protección rigurosas y educación para salvaguardar los datos confidenciales. La información que viaja a través de redes y plataformas durante los procesos de intercambio de datos es vulnerable a amenazas, como el acceso no autorizado, las filtraciones de datos y los ciberataques. Además, las organizaciones deben navegar por complejas leyes y regulaciones de privacidad de datos al compartir datos con socios externos, stakeholders o proveedores externos.

La implementación de las mejores prácticas en el intercambio de datos ayuda a las organizaciones a maximizar los beneficios y minimizar el riesgo.

• Las evaluaciones periódicas pueden ayudar a evaluar la eficacia de los datos, los procesos de transferencia de datos y la cultura organizacional en torno al intercambio de datos, y pueden actuar para abordar las preocupaciones.
• Las soluciones de código abierto para compartir datos ayudan a las organizaciones a evitar el vendor lock-in (dependencia de proveedores) y a abrir una serie de integraciones desarrolladas por la comunidad con marcos de procesamiento de datos de código abierto populares y herramientas de business intelligence, lo que reduce los costos de tecnología e infraestructura.
• Las políticas de gobernanza claras y los protocolos de intercambio de datos bien definidos conducen a una gestión de datos responsable. Sin él, los equipos podrían construir a partir de datos erróneos, y el liderazgo podría tomar decisiones basadas en datos erróneos, poniendo en riesgo a la organización.

Un mercado de datos permite a las organizaciones compartir y monetizar de forma segura sus datos y productos de datos. Hay algunos tipos diferentes de mercados de datos:

• Un mercado interno de datos sirve para compartir datos dentro de una empresa
• Un mercado de datos privados es para compartir datos con socios de confianza
• Un mercado de datos públicos es para conectar a proveedores de datos y consumidores

Los mercados de datos públicos ofrecen un entorno seguro para que los participantes compren y vendan datos y servicios relacionados, lo que a su vez certifica el alta calidad y consistencia de los proveedores de datos. Las empresas pueden emplear un mercado de datos para adquirir datos de terceros para enriquecer sus conjuntos de datos existentes o para ofrecer y monetizar nuevos productos y servicios de datos.

Cada tipo de intercambio de datos cumple una función específica para facilitar un intercambio seguro de información.

• El intercambio interno de datos se centra en romper el silo de datos dentro de la organización para garantizar que todas las partes tengan acceso a los datos necesarios en un entorno seguro.
• El intercambio de datos externos involucra a socios, clientes, proveedores y organismos reguladores. Debido a que son externos, los datos están sujetos a medidas de seguridad más estrictas para proteger la información confidencial.
• Dentro de los tipos de datos internos y externos, también hay datos públicos y privados. Los datos públicos son accesibles para cualquier persona, mientras que los datos privados están restringidos a ciertas personas o grupos.

Los tipos de tecnología de intercambio de datos más empleados entre las organizaciones empresariales son el data warehouse y el data lakehouse. Estos modernos sistemas de arquitectura de datos proporcionan repositorios centrales para la recopilación, el almacenamiento y la puesta en común de big data procedentes de múltiples unidades de negocio. Estas arquitecturas suelen incluir niveles para clientes frontales, analytics engine y servidores de bases de datos.

Las interfaces de programación de aplicaciones (APIs) permiten que los componentes de software comuniquen definiciones y protocolos compartidos. Las APIs de intercambio de datos admiten controles de acceso y licencias detalladas, especificando qué datos pueden y no pueden aplicar los consumidores.

El aprendizaje federado, la tecnología blockchain y las plataformas de intercambio de datos son otras tecnologías que admiten el intercambio de datos. El aprendizaje federado permite que los sistemas de IA se capaciten en conjuntos de datos distribuidos de diversas fuentes sin tener que mover los datos. Blockchain proporciona un libro mayor transparente e inmutable para rastrear transacciones, incluyendo las de intercambios de datos abiertos, proporcionando una capa de integridad y seguridad a los procesos de intercambio de datos.

Las tecnologías heredadas, como Secure File Transfer Protocol (SFTP) y el correo electrónico, permiten soluciones propias e independientes del proveedor, pero son cada vez más difíciles de proteger y controlar. Carecen de características de seguridad avanzadas, como cifrado en reposo, controles de acceso a datos granulares y auditoría automatizada, que son más comunes en las soluciones modernas.

Las soluciones de datos modernas se centran en el intercambio seguro de datos, con almacenamiento de datos en la nube que ofrece escalabilidad y confiabilidad con limitaciones de accesibilidad y seguridad. Las soluciones de intercambio de datos específicas del proveedor ofrecen seguridad y escalabilidad integradas, pero a menudo vienen con la vendor lock-in (dependencia de proveedores), lo que limita la flexibilidad y aumenta los costos a largo plazo.