À propos des cookies sur ce site Pour fonctionner correctement, nos sites Internet nécessitent certains cookies (requis). En outre, d'autres cookies peuvent être utilisés avec votre consentement pour analyser l'utilisation d'un site, améliorer l'expérience des utilisateurs et à des fins publicitaires. Pour plus informations, passez en revue vos options de préférences en. En visitant notre site Web, vous acceptez que nous traitions les informations comme décrit dans ladéclaration de confidentialité d’IBM. Pour faciliter la navigation, vos préférences en matière de cookie seront partagées dans les domaines Web d'IBM énumérés ici.
Qu’est-ce que la data replication ?
La réplication des données est le processus de création et de maintien de copies multiples des mêmes données à différents endroits afin de garantir la disponibilité, la fiabilité et la résilience des données au sein d’une organisation.
En répliquant les données d’un emplacement source vers un ou plusieurs emplacements cibles, les répliques permettent aux utilisateurs d’une organisation d’accéder facilement aux données dont ils ont besoin sans subir de problèmes de latence .
Lorsque plusieurs copies des mêmes données existent à différents endroits, même si une copie devient inaccessible en raison d’un incident, d’une panne ou pour toute autre raison, une autre copie peut être utilisée comme sauvegarde. Cette redondance permet aux organisations de minimiser les temps d’arrêt et la perte de données et d’améliorer la continuité des activités.
Découvrez les obstacles à l’adoption de l’IA, en particulier le manque de solutions de gouvernance de l’IA et de gestion des risques.
La réplication des données peut s’effectuer sur un réseau de stockage, un réseau local ou un réseau local étendu, mais aussi dans le cloud. La réplication des données peut se faire de manière synchrone ou asynchrone, selon la manière dont les opérations d’écriture sont gérées.
- La réplication synchrone des données signifie que les données sont constamment copiées sur le serveur principal et sur tous les serveurs répliques simultanément.
- La réplication asynchrone de data replication signifie que les données sont d’abord copiées sur le serveur principal, puis copiées sur les serveurs de réplique par lots.
Si la réplication synchrone garantit qu’aucune donnée ne se perd, la réplication asynchrone nécessite beaucoup moins de bande passante et est moins coûteuse.
En adoptant une stratégie de réplication des données efficace, les entreprises peuvent bénéficier des avantages suivants :
La réplication des données peut être utilisée dans le cadre d’une stratégie de mise à l’échelle pour répondre à l’augmentation de la demande en termes de trafic et de charge de travail. La réplication renforce l’évolutivité en distribuant les données sur plusieurs nœuds, ce qui peut permettre d’augmenter la puissance de traitement et d’améliorer les performances de serveur.
La conservation de copies des données à différents endroits permet de minimiser les pertes de données et les temps d’arrêt en cas de panne électrique, d’incident de cybersécurité ou de catastrophe naturelle. La possibilité de procéder à une restauration à partir d’une réplique à distance permet de garantir la robustesse du système, la fiabilité de l’organisation et la sécurité.
Une base de données distribuée à l’échelle mondiale signifie qu’elle doit parcourir une distance plus courte jusqu’à l’utilisateur final. Cela permet de réduire la latence et d’augmenter la vitesse et les performances du serveur, ce qui est particulièrement important pour les charges de travail en temps réel dans les jeux ou les systèmes de recommandation, ou pour les systèmes à forte consommation de ressources comme les outils de conception.
La réplication améliore la tolérance aux pannes en fournissant une redondance. Si une copie des données est corrompue ou perdue à la suite d’une panne, le système peut se rabattre sur une autre réplique. Cela permet d’éviter les pertes de données et de garantir la continuité des opérations.
En distribuant les demandes d’accès aux données sur plusieurs serveurs ou emplacements, la réplication des données peut conduire à optimiser les performances des serveurs en allégeant la pression sur chaque serveur. Cet équilibrage de charge permet de gérer des volumes importants de requêtes et de garantir une expérience utilisateur plus réactive.
La réplication des données peut être classée en différentes catégories en fonction de la méthode, de l’objectif et des caractéristiques du processus de réplication. Les trois principaux types de réplication des données sont la réplication transactionnelle, la réplication d’instantanés et la réplication de fusion.
La réplication transactionnelle consiste à copier les bases de données dans leur intégralité à partir du serveur principal (l’éditeur) et à les envoyer aux serveurs secondaires (les abonnés). Toute modification des données est mise à jour de manière cohérente et continue. Les données étant répliquées en temps réel et envoyées de la base de données primaire aux serveurs secondaires dans l’ordre d’occurrence, la cohérence transactionnelle est assurée. Ce type de réplication de base de données est couramment utilisé dans les environnements de serveur à serveur.
Avec la réplication d’instantanés, un instantané de la base de données est distribué du serveur principal aux serveurs secondaires. Au lieu des mises à jour continues, les données sont envoyées telles qu’elles existent au moment de l’instantané. Ce type de réplication de base de données est recommandé lorsque les données sont peu modifiées ou lors du premier lancement de la synchronisation entre l’éditeur et l’abonné. Bien qu’elle ne soit pas utile pour la sauvegarde de données, car elle ne surveille pas les modifications de données, la réplication d’instantanés peut faciliter la récupération en cas de suppression accidentelle.
La réplication par fusion consiste à combiner deux bases de données en une seule base de données. Par conséquent, toute modification des données peut être mise à jour de l’éditeur aux abonnés. Il s’agit d’un type de réplication de base de données complexe, car les deux parties (le serveur principal et les serveurs secondaires) peuvent apporter des modifications aux données. Ce type de réplication n’est recommandé que dans un environnement serveur-client.
Les schémas de réplication sont les opérations et tâches requises pour effectuer la réplication des données. Les trois principaux schémas de réplication des données sont la réplication complète, la réplication partielle et l’absence de réplication.
Avec une réplication complète, une base de données primaire est copiée dans son intégralité sur chaque site du système distribué. Ce schéma de distribution global offre une redondance élevée des bases de données, une latence réduite et une exécution accélérée des requêtes. Les inconvénients d’une réplication complète sont tels qu’il est difficile d’obtenir des accès concurrents et que les processus de mise à jour sont lents.
Dans un schéma de réplication partielle, certaines sections de la base de données sont répliquées sur certains ou sur tous les sites.. Il s’agit généralement des données qui ont été récemment mises à jour. La réplication partielle permet de prioriser les données importantes qui doivent être répliquées, ainsi que de distribuer les ressources en fonction des besoins du champ.
L’absence de réplication est un schéma dans lequel toutes les données sont stockées sur un seul site. Cela permet de récupérer facilement les données et d’assurer des accès concurrents. En termes d’inconvénients, l’absence de réplication a un impact négatif sur la disponibilité et ralentit également l’exécution des requêtes.
Les techniques de réplication des données font référence aux méthodes et aux mécanismes utilisés pour répliquer des données d’une source primaire vers un ou plusieurs systèmes ou emplacements cibles. Les techniques de réplication des données les plus utilisées sont la réplication de tables complètes, la réplication basée sur une clé et la réplication basée sur le journal.
Avec la réplication de table complète, toutes les données sont copiées de la source de données vers la destination, y compris toutes les données nouvelles et existantes. Cette technique est recommandée si les enregistrements sont régulièrement supprimés ou si d’autres techniques sont techniquement impossibles. En raison de la taille des jeux de données, la réplication de tables complètes nécessite plus de ressources de traitement et de réseau, tout en étant plus coûteuse.
Dans le cas des réplications incrémentielles basées sur une clé, seules les nouvelles données ajoutées depuis la mise à jour précédente sont répliquées. Cette technique est plus efficace, car moins de lignes sont copiées. L’un des inconvénients de la réplication incrémentielle basée sur une clé, c’est qu’elle ne permet pas la réplication des données d’une mise à jour précédente définitivement supprimée.
La réplication basée sur le journal capture les modifications apportées aux données au niveau de la source de données en surveillant les enregistrements de journaux de base de données (fichier journal ou ChangeLog). Ces modifications sont ensuite répliquées sur les systèmes cibles et ne s’appliquent qu’aux sources de bases de données prises en charge. La réplication basée sur le journal est recommandée lorsque la structure de la base de données source est statique, car elle pourrait devenir un processus très gourmand en ressources.
La réplication des données est une technique polyvalente utile dans divers secteurs et scénarios pour améliorer la disponibilité des données, la tolérance aux pannes et les performances. Cas d’utilisation les plus courants de la réplication des données :
- Améliorer la disponibilité et le basculement : la réplication des données est couramment utilisée pour conserver des copies redondantes des données critiques. En cas de panne matérielle ou de système, les applications peuvent passer sur une réplique, minimisant ainsi les temps d’arrêt et la perte de données.
- Renforcer la position de reprise après sinistre (DR) : en répliquant les données à différents emplacements, les organisations peuvent garantir que les données sont préservées en cas de catastrophes naturelles, d’incendies ou d’autres événements catastrophiques affectant le centre de données principal.
- Augmenter les performances grâce à l’équilibrage de la charge : la distribution des requêtes de lecture sur plusieurs répliques de base de données permet d’équilibrer la charge sur le système primaire, garantissant ainsi des performances optimales lors des pics d’utilisation.
- Réduire la latence pour le personnel dans le reste du monde : les organisations qui ont plusieurs succursales sur plusieurs continents peuvent répliquer les données vers des centres de données situés plus près de chaque utilisateur. Cela permet de réduire la latence et d’améliorer l’expérience utilisateur.
- Améliorer la business intelligence et le machine learning : en synchronisant les rapports de business intelligence basés sur le cloud et en permettant le transfert des données depuis diverses sources vers les magasins de données, comme les entrepôts de données ou les data lakes, la réplication des données prend en charge l’analytique avancée.
- Améliorer l’accès aux données de santé : la réplication des dossiers médicaux électroniques et des données des patients permet aux professionnels de santé d’accéder rapidement aux informations critiques sur les patients tout en maintenant la redondance des données.
- Jeux et mode multijoueur en ligne : la réplication des données de jeu et des informations d’état sur les serveurs de jeu permet de faciliter le jeu multijoueur en ligne, de garantir la synchronisation et la cohérence de l’expérience des joueurs.
Lors de la mise en œuvre d’une stratégie de réplication des données, la complexité croissante des systèmes de données et l’augmentation de la distance physique entre les serveurs au sein d’un système posent plusieurs risques, notamment les suivants :
Les outils de réplication des données doivent garantir la cohérence des données sur toutes les répliques. Les retards de réplication, les problèmes de réseau ou les conflits liés aux mises à jour simultanées peuvent entraîner des anomalies du schéma et du profilage des données, telles que des valeurs nulles, des changements de type et des distorsions.
Bien que la réplication des données soit souvent utilisée pour la sauvegarde des données et la reprise après incident, toutes les stratégies de réplication n’offrent pas une protection des données en temps réel (lien externe à ibm.com). En cas de décalage entre les modifications de données et leur réplication lors d’une défaillance, il peut en résulter une perte de données.
La réplication des données sur un réseau peut générer une latence et consommer de la bande passante. Une latence réseau élevée ou une bande passante limitée peuvent entraîner des retards de réplication, ce qui affecte la rapidité des mises à jour des données.
La réplication de données vers plusieurs emplacements peut présenter des risques de sécurité. Les organisations doivent s’assurer que tous les outils de réplication des données utilisés protègent correctement les données pendant le processus de réplication et au repos sur tous les emplacements cibles.
Les entreprises opérant dans des secteurs réglementés doivent s’assurer que les pratiques de réplication des données sont conformes aux réglementations propres au secteur d’activité et aux lois sur la confidentialité des données, ce qui peut compliquer les stratégies de réplication.
En mettant en place un système de gestion des données pour superviser et surveiller le processus de réplication des données, les organisations peuvent réduire considérablement les risques encourus. Une plateforme d’observabilité des données basée sur un logiciel en tant que service (SaaS) est l’un de ces systèmes qui peut aider à garantir que :
- Les données sont répliquées avec succès sur d’autres instances, y compris les instances sur le cloud
- Les pipelines de réplication et de migration fonctionnent comme prévu
- Les ruptures de pipelines ou les volumes de données irréguliers sont immédiatement signalés
- Les données sont livrées à temps
- Les données fournies sont fiables et dignes de confiance pour l’analyse
En surveillant les pipelines de données impliqués dans le processus de réplication, les ingénieurs DataOps peuvent s’assurer que toutes les données propagées dans le pipeline sont exactes, complètes et fiables. Cela garantit que les données répliquées sur chaque instance peuvent être utilisées de manière fiable par les parties prenantes. En termes de surveillance, une plateforme d’observabilité SaaS efficace doit être :
- Granulaire : indique où se trouve le problème avec précision
- Persistante : suit la lignée pour identifier où les sources des erreurs
- Automatisée : réduit les erreurs manuelles et permet l’utilisation de seuils
- Omniprésente : offre une couverture du pipeline de bout en bout
- Rapide : permet de détecter les erreurs à temps avant qu’elles n’aient un impact
Le suivi des pipelines permet de résoudre les problèmes de manière systématique, afin que toutes les erreurs soient identifiées et corrigées à temps. Cela garantit aux utilisateurs de bénéficier en permanence de données mises à jour, fiables et saines dans leurs analyses. Le suivi concerne différents types de métadonnées, notamment la durée de la tâche, l’état de la tâche, le moment où les données ont été mises à jour, etc. En cas d’anomalies, le suivi (tout comme les alertes) aide les ingénieurs DataOps à garantir la santé des données.
Les alertes en cas d’anomalie au niveau du pipeline de données est une étape essentielle qui ferme la boucle d’observabilité. Grâce aux alertes, les ingénieurs DataOps peuvent résoudre les problèmes de santé des données avant qu’ils n’affectent la réplication des données dans les différentes instances. Dans les systèmes de données existants, les ingénieurs de données peuvent déclencher des alertes pour :
- Les échecs de livraison de données
- Les changements de schéma inattendus
- Les manquements des SLA
- à détecter les anomalies dans les statistiques au niveau des colonnes telles que les valeurs nulles et des distributions
- Les volumes et tailles de données irréguliers
- Les défaillances, inefficacités et erreurs de pipelines
En mettant en place des alertes de manière proactive et en les surveillant à l’aide de tableaux de bord et d’autres outils disponibles (Slack, PagerDuty, etc.), les organisations peuvent réellement maximiser les avantages de la réplication des données et assurer la continuité des activités.
Produits associés
Conçu pour les entrepôts et les pipelines de données, IBM Databand est un logiciel d’observabilité qui collecte automatiquement les métadonnées afin de créer des lignes de base historiques, de détecter les anomalies et de trier les alertes permettant de résoudre les problèmes de qualité des données.
Pour garantir une réplication de données en temps réel entre des entrepôts de données hétérogènes, le logiciel IBM Data Replication est disponible en version SaaS sur site et en tant que produit SaaS dans IBM Cloud Pak for Data.
En prenant en charge les modèles ETL et ELT, IBM DataStage offre une intégration flexible et en temps quasi réel des données sur site et dans le cloud.
IBM® Knowledge Catalog est un catalogue de données intelligent optimisé pour l'IA, conçu pour faciliter l’accès, le classement et le partage des données, des actifs de connaissances et de leurs relations, où qu’ils se trouvent.
Ressources
Pour aller plus loin, découvrez la notion d’observabilité des données, son importance, son évolution parallèle à celle des systèmes de données modernes, ainsi que les bonnes pratiques à appliquer pour mettre en œuvre un cadre d’observabilité des données.
Découvrez comment configurer la réplication des données à l’aide des bonnes pratiques de Snowflake, y compris les principes fondamentaux du suivi de l’intégrité des données.
Des sources de données disparates réparties dans plusieurs environnements cloud et sur site exigent une nouvelle approche de l’intégration des données.
