Inicio
Temas
Data Replication
Data Replication es el proceso de crear y mantener múltiples copias de los mismos datos en diferentes ubicaciones como forma de garantizar la disponibilidad, fiabilidad y resistencia de los datos en toda una organización.
Al replicar datos desde una ubicación de origen a una o más ubicaciones de destino, las réplicas brindan a los usuarios globales de una organización acceso inmediato a los datos que necesitan sin sufrir problemas de latencia .
Cuando existen varias copias de los mismos datos en diferentes ubicaciones, incluso si una copia se vuelve inaccesible debido a un desastre, interrupción o cualquier otro motivo, se puede usar otra copia como respaldo. Esta redundancia ayuda a las organizaciones a minimizar el tiempo de inactividad y la pérdida de datos, y a mejorar la continuidad del negocio.
Conozca las barreras para la adopción de IA, en particular la falta de soluciones de gobernanza y gestión de riesgos de IA.
Data Replication puede tener lugar a través de una red de área de almacenamiento, una red de área local o una red de área amplia local, así como en la nube. La replicación puede producir de forma sincrónica o asincrónica, lo que hace referencia a cómo se gestionan las operaciones de escritura.
- Data Replication sincrónica significa que los datos se copian constantemente al servidor principal y a todos los servidores de réplica simultáneamente.
- Data Replication asíncrona significa que los datos se copian primero en el servidor principal y solo luego se copian en lotes a los servidores de réplica.
Aunque la replicación sincrónica garantiza que no se pierdan datos, la replicación asincrónica requiere mucho menos ancho de banda y es menos costosa.
Al emplear una estrategia efectiva de Data Replication, las organizaciones pueden beneficiarse de las siguientes maneras:
Data Replication se puede emplear como parte de una estrategia de escalado para adaptar a las mayores demandas de tráfico y carga de trabajo. La replicación genera escalabilidad mediante la distribución de datos en varios nodos, lo que puede permitir una mayor potencia de procesamiento y un mejor rendimiento del servidor.
Mantener copias de los datos en distintas ubicaciones ayuda a minimizar la pérdida de datos y el tiempo de inactividad en caso de apagón eléctrico, ataque de ciberseguridad o catástrofe natural. La posibilidad de restaurar desde una réplica remota ayuda a garantizar la solidez del sistema, la fiabilidad de la organización y la seguridad.
Una base de datos distribuida globalmente significa que debe viajar una distancia más corta hasta el usuario final. Esto reduce la latencia y aumenta la velocidad y el rendimiento del servidor, que son especialmente importantes para cargas de trabajo basadas en tiempo real en sistemas de juegos o recomendaciones, o sistemas con muchos recursos, como herramientas de diseño.
La replicación mejora la tolerancia a fallas al proporcionar redundancia. Si una copia de los datos se daña o se pierde debido a una falla, el sistema puede recurrir a una de las otras réplicas. Esto ayuda a prevenir la pérdida de datos y garantiza operaciones ininterrumpidas.
Al distribuir las solicitudes de acceso a los datos en varios servidores o ubicaciones, Data Replication puede optimizar el rendimiento del servidor al ejercer menos presión sobre los servidores individuales. Este equilibrio de carga puede ayudar a gestionar grandes volúmenes de solicitudes y garantizar una experiencia de usuario más receptiva.
Data Replication se puede clasificar en varios tipos según el método, el propósito y las características del proceso de Data replication. Los tres tipos principales de Data Replication son la replicación transaccional, la replicación de instantáneas y la replicación de fusión.
La replicación de transacciones consiste en que las bases de datos se copian en su totalidad desde el servidor principal (el editor) y se envían a servidores secundarios (suscriptores). Cualquier cambio en los datos se actualiza de manera constante y continua. Dado que los datos se replican en tiempo real y se envían desde la base de datos principal a los servidores secundarios en el orden en que aparecen, se garantiza la coherencia transaccional. Este tipo de replicación de bases de datos se usa comúnmente en entornos de servidor a servidor.
Con la replicación de instantáneas, se distribuye una instantánea de la base de datos desde el servidor primario a los servidores secundarios. En lugar de actualizaciones continuas, los datos se envían tal y como existen en el momento de la instantánea. Este tipo de replicación de bases de datos se recomienda cuando no hay muchos cambios de datos o cuando se inicia por primera vez la sincronización entre el publicador y el suscriptor. Aunque no es útil para las copias de seguridad de datos porque no monitorear los cambios en los datos, la replicación de instantáneas puede ayudar con las recuperaciones en caso de eliminación accidental.
La replicación de mezcla consiste en la combinación de dos bases de datos en una sola base de datos. Como resultado, cualquier cambio en los datos puede actualizar desde el editor hasta los suscriptores. Este es un tipo complejo de replicación de bases de datos, ya que ambas partes (el servidor principal y los servidores secundarios) pueden realizar cambios en los datos. Este tipo de replicación solo se recomienda para su uso en un entorno de servidor a cliente.
Los esquemas de replicación son las operaciones y tareas necesarias para realizar Data Replication. Los tres esquemas principales de Data Replication son replicación completa, replicación parcial y ninguna replicación.
Con la replicación completa, una base de datos primaria se copia en su totalidad en cada sitio del sistema distribuido. Este esquema de distribución global ofrece alta redundancia de bases de datos, latencia reducida y ejecución acelerada de consultas. Las desventajas de la replicación completa son que es difícil lograr concurrencia y que los procesos de actualización son lentos.
En un esquema de replicación parcial , algunas secciones de la base de datos se replican en algunos o en todos los sitios, generalmente datos que se actualizaron recientemente. La replicación parcial permite priorizar qué datos son importantes y deben replicar, así como distribuir los recursos de acuerdo con las necesidades del campo.
La no replicación es un esquema en el que todos los datos se almacenan en un solo sitio. Esto permite recuperar datos fácilmente y lograr la concurrencia. Las desventajas de la no replicación son que afecta negativamente la disponibilidad y también ralentiza la ejecución de consultas.
Las técnicas de Data Replication se refieren a los métodos y mecanismos empleados para replicar datos de una fuente primaria a uno o más sistemas o ubicaciones de destino. Las técnicas de Data Replication más empleadas son la replicación de tabla completa, la replicación basada en claves y la replicación basada en registros.
Con la replicación de tabla completa, todos los datos se copian desde el origen de datos al destino, incluidos todos los datos nuevos y existentes. Se recomienda esta técnica si los registros se eliminan de manera regular o si otras técnicas son técnicamente imposibles. Debido al tamaño de los conjuntos de datos, la replicación de tablas completas requiere más procesamiento y recursos de red, además de ser más costosa.
En las replicaciones incrementales basadas en claves, solo se replican los datos nuevos que se agregaron desde la actualización anterior. Esta técnica es más eficiente porque se copian menos filas. Una desventaja de la replicación incremental basada en claves es que no permite la replicación de datos de una actualización anterior que se eliminó de forma permanente.
La replicación basada en registros captura los cambios realizados en los datos en el origen de datos mediante la supervisión de los registros de registro de la base de datos (archivo Log o ChangeLog). A continuación, estos cambios se replican en los sistemas de destino y solo se aplican a las fuentes de bases de datos compatibles. La replicación basada en registros se recomienda cuando la estructura de la base de datos de origen es estática, ya que de lo contrario podría convertir en un proceso que consuma muchos recursos.
Data Replication es una técnica versátil que es útil en diversas industrias y escenarios para mejorar la disponibilidad de datos, la tolerancia a fallas y el rendimiento. Algunos de los casos de uso de Data Replication más comunes incluyen:
- Mejore la disponibilidad y la conmutación por error: Data Replication se emplea comúnmente para mantener copias redundantes de datos críticos. En caso de una falla de hardware o del sistema, las aplicaciones pueden cambiar a una réplica, minimizando el tiempo de inactividad y la pérdida de datos.
- Fortalecer la posición derecuperación ante desastres (DR): al replicar datos en diferentes ubicaciones, las organizaciones pueden garantizar que los datos se conserven durante desastres naturales, incendios u otros eventos catastróficos que afecten al centro de datos principal.
- Aumento del rendimiento mediante el equilibrio de carga: la distribución de solicitudes de lectura en varias réplicas de bases de datos ayuda a equilibrar la carga en el sistema principal, lo que garantiza un rendimiento óptimo durante los picos de uso.
- Reduzca la latencia para la fuerza laboral global: las organizaciones que tienen varias sucursales en varios continentes pueden replicar datos en centros de datos ubicados más cerca de cada usuario. Esto reduce la latencia y mejora la experiencia del usuario.
- Mejore la inteligencia empresarial y machine learning: Al sincronizar los reportes de inteligencia empresarial basados en la nube y permitir el movimiento de datos de varias fuentes de datos a almacenes de datos, incluidos almacenes de datos o lagos de datos, Data Replication admite análisis avanzados.
- Mejore el acceso a los datos de atención médica: la replicación de registros de salud electrónicos (EHR) y los datos de los pacientes proporciona a los profesionales de la salud un acceso rápido a los datos críticos de los pacientes mientras se mantiene la redundancia de datos.
- Juegos y multijugador en línea: la replicación de los datos del juego y la información de estado en los servidores de juegos ayuda a respaldar los juegos multijugador en línea, lo que garantiza la sincronización y la coherencia de las experiencias de los jugadores.
Al implementar una estrategia de Data Replication, la creciente complejidad de los sistemas de datos y la mayor distancia física entre los servidores dentro de un sistema plantea varios riesgos, entre ellos:
Las herramientas de Data Replication deben garantizar que los datos permanezcan coherentes en todas las réplicas. Los retrasos en la replicación, los problemas de red o los conflictos en las actualizaciones simultáneas pueden provocar anomalías en el esquema de datos y en la creación de perfiles de datos, como recuentos nulos, cambios de tipo y sesgos.
Si bien Data Replication se emplea a menudo para la copia de seguridad de datos y la recuperación ante desastres, no todas las estrategias de data replication brindan protección de datos en tiempo real (enlace externo a ibm.com). Si hay un retraso entre los cambios de datos y su replicación durante una falla, podría producir una pérdida de datos.
La replicación de datos a través de una red puede introducir latencia y consumir ancho de banda. El alta latencia de la red o el ancho de banda limitado pueden provocar retrasos en la replicación, lo que afecta la puntualidad de las actualizaciones de datos.
La replicación de datos en varias ubicaciones puede introducir riesgos de seguridad. Las organizaciones deben cerciorar de que las herramientas de Data Replication empleadas protejan adecuadamente los datos durante la data replication y en reposo en todas las ubicaciones de destino.
Las organizaciones que operan en industrias reguladas deben cerciorar de que las prácticas de Data Replication cumplan con las regulaciones específicas de la industria y las leyes de privacidad de datos, lo que puede agregar complejidad a las estrategias de data replication.
Al implementar un sistema de gestión de datos para monitorear y supervisar el proceso de Data Replication, las organizaciones pueden reducir significativamente los riesgos involucrados. Una plataforma de observabilidad de datos basada en software como servicio (SaaS) es uno de esos sistemas que puede ayudar a garantizar:
- Los datos se replican correctamente en otras instancias, incluidas las instancias en la nube
- Las canalizaciones de replicación y migración funcionan según lo esperado
- Las canalizaciones rotas o los volúmenes de datos irregulares se alertan de inmediato
- Los datos se entregan a tiempo
- Los datos entregados son confiables para su uso en analytics
Mediante la supervisión de las canalizaciones de datos que intervienen en el proceso de replicación, los ingenieros de DataOps pueden garantizar que todos los datos propagados a través de la canalización son precisos, completos y fiables. Esto garantiza que los interesados puedan emplear de forma fiable los datos replicados en cada instancia. En términos de supervisión, una plataforma de observabilidad SaaS eficaz será:
- Granular: indica dónde está el problema con la especificidad
- Persistente: sigue el linaje para comprender dónde comenzaron los errores
- Automatizado: reduce los errores manuales y permite el uso de umbrales
- Omnipresente: ofrece cobertura de pipeline de extremo a extremo
- Oportuno: permite detectar errores a tiempo antes de que tengan un impacto
El seguimiento de los pipelines permite la resolución sistemática de problemas, por lo que cualquier error se identifica y se puede corregir a tiempo. Esto garantiza que los usuarios se beneficien constantemente de datos actualizados, confiables y saludables en sus análisis. Varios tipos de metadatos que se pueden rastrear incluyen la duración de la tarea, el estado de la tarea, cuándo se actualizaron los datos y más. En caso de anomalías, el seguimiento (y las alertas) ayudan a los ingenieros de DataOps a garantizar el estado de los datos.
La alerta de anomalías en la canalización de datos es un paso esencial que cierra el bucle de observabilidad. Gracias a las alertas, los ingenieros de DataOps pueden solucionar cualquier problema de salud de los datos antes de que afecte a Data Replication en varias instancias. Dentro de los sistemas de datos existentes, los ingenieros de datos pueden activar alertas para:
- Entregas de datos perdidas
- Cambios de esquema inesperados
- Faltas de SLA
- anomalías en las estadísticas a nivel de columna, como valores nulos y distribuciones
- Volúmenes y tamaños de datos irregulares
- Fallos, ineficiencias y errores en los oleoductos
Al configurar alertas de forma proactiva y monitorearlas a través de paneles y otras herramientas preferidas (Slack, PagerDuty, etc.), las organizaciones pueden maximizar realmente los beneficios de Data Replication y garantizar la continuidad del negocio.
IBM Databand es un software de observabilidad para canalizaciones de datos y almacenes de datos, que recopila metadatos de forma automática para crear referencias históricas, detectar anomalías, y evaluar y priorizar las alertas para corregir los problemas relacionados con la calidad de los datos.
Al proporcionar Data Replication en tiempo real entre almacenes de datos heterogéneos, el software IBM DataReplication está disponible on premises, como un producto SaaS y dentro de IBM CloudPak for Data.
Al admitir los patrones ETL y ELT, IBM® DataStage ofrece una integración de datos flexible y casi en tiempo real tanto on premises como en la nube.
IBM® Knowledge Catalog, un catálogo de datos inteligente en la era de la IA, le permite acceder, curar, categorizar y compartir datos, activos de conocimiento y sus relaciones, independientemente de dónde residan.
Profundice para comprender qué es la observabilidad de los datos, por qué es importante, cómo ha evolucionado junto con los sistemas de datos modernos y las mejores prácticas para implementar un marco de observabilidad de datos.
Aprenda a configurar la Data Replication empleando las mejores prácticas de Snowflake, incluidos los buenos fundamentos para el seguimiento de la integridad de los datos.
Las fuentes de datos dispares distribuidas en múltiples entornos locales y en la nube exigen un nuevo enfoque para la integración de datos.