Comment l'interface CLI de Lift migre-t-elle mes données vers IBM Db2 Warehouse on Cloud ?

Si vous migrez des données à partir de votre base de données IBM PureData System for Analytics (Netezza), vous devez d'abord extraire localement une table de base de données dans un fichier CSV à l'aide de la commande "lift extract". Ensuite, vous transférez votre fichier de données CSV vers la zone de réception IBM Db2 Warehouse on Cloud à l'aide de la commande "lift put". La zone de réception IBM Db2 Warehouse on Cloud est un volume préalloué utilisé pour le chargement et le traitement des données. Enfin, vous chargez le fichier de données CSV transféré dans le moteur à l'aide de la commande "lift load". Une fois le chargement terminé, vous pouvez supprimer le fichier de données à l'aide de la commande "lift rm".

Si vous migrez un ensemble de fichiers CSV, vous devez suivre un ensemble d'étapes similaire à celui indiqué précédemment. Vous commencez en transférant vos fichier de données CSV vers la zone de réception IBM Db2 Warehouse on Cloud à l'aide de la commande "lift put". La zone de réception IBM Db2 Warehouse on Cloud est un volume préalloué utilisé pour le chargement et le traitement des données. Enfin, vous chargez le fichier de données CSV transféré dans le moteur à l'aide de la commande "lift load". Une fois le chargement terminé, vous pouvez supprimer le fichier de données à l'aide de la commande "lift rm".

Existe-t-il une taille de base de données maximale pour la migration ?

Non, vous pouvez migrer toutes les bases de données, quelle que soit leur taille. Cependant, gardez à l'esprit que la durée de la migration de votre base de données dépend de votre vitesse de connexion réseau, du volume de données non compressées que vous devez déplacer et des profils matériels de vos ordinateurs source et cible. En d'autres termes, le kilométrage peut varier.

Quels artefacts de base de données puis-je migrer ?

L'interface CLI de Lift migre vos tables ou fichiers CSV vers une cible de données IBM Cloud. Si vous devez migrer d'autres artefacts de base de données, tels que des tables, des vues, des procédures mémorisées, utilisez IBM Database Conversion Workbench.

Où dois-je installer mon package d'interface CLI pour obtenir les meilleures performances ?

Nous vous recommandons d'installer et d'exécuter l'interface CLI à partir d'une machine qui est proche de la source de votre base de données en termes de réseau (latence minimale). Cela vous permet d'être sûr que vos données seront extraites et transférées plus rapidement dans votre environnement sur site, et d'améliorer ainsi la durée totale de migration des données de bout en bout.

Quels ports réseau doivent être ouverts sur mon système sur site ?

Les ports suivants doivent être ouverts sur la machine exécutant l'interface CLI de Lift :

ObjectifProtocoleOrientationDestinationPort
Transfert AsperaTCPSORTANTINTERNET33001*
Transfert AsperaUDPSORTANTINTERNET33001*
Db2 Warehouse on Cloud - JDBC sécurisé par SSLTCPSORTANTINTERNET50001
Db2 Warehouse on Cloud - API de chargement RESTTCPSORTANTINTERNET8443
Services de base LiftTCPSORTANTINTERNET443

 

*Le trafic entrant sera renvoyé lorsque la connexion SORTANTE aura été initiée par l'interface CLI Lift vers le cluster Db2 Warehouse on Cloud sur le port 33001. Le port local, qui fera partie de la plage de ports éphémères, sera choisi au hasard par le système d'exploitation. Tous les pare-feux modernes sont des pare-feux dynamiques (avec état, c'est-à-dire informés de la connexion ou de l'état), et il est probable qu'il ne sera pas nécessaire d'ouvrir un port de communications ENTRANTES. 

Quelles sont les exigences de stockage sur site pour extraire mes données ?

Pour Linux et MacOS, la mémoire de stockage minimale doit être supérieure ou égale à la représentation sur disque de votre plus grande table (non compressée).

Pour Windows, la mémoire de stockage minimale doit être 2 fois supérieure ou égale à la représentation sur disque de votre plus grande table (non compressée).

Et s'il n'y a pas suffisamment d'espace disque sur la zone de réception Db2 Warehouse on Cloud for Analytics pour recevoir ma plus grande table ?

Vous pouvez exécuter la commande "lift df" pour vérifier l'espace disque disponible dans la zone de réception Db2 Warehouse on Cloud for Analytics. Vous pouvez libérer de l'espace en exécutant la commande "lift rm". Si vous n'avez toujours pas assez d'espace, vous pouvez fractionner votre table en plusieurs blocs de fichiers et télécharger les fichiers individuellement à l'aide de l'option "lift extract -size".

J'apprécie la rapidité de Lift, mais puis-je ralentir mon téléchargement si je suis sur un réseau à largeur de bande limitée ?

Certainement. Vous pouvez utiliser l'option "lift put --max-throughput" pour limiter le débit utilisé par le transfert de données.

Je ne veux pas continuer à devoir taper mes données d'identification de base de données et d'autres options courantes. Puis-je les définir en tant que variables d'environnement ou les stocker dans un lieu de référence ?

Oui. Vous pouvez définir des données d'identification de connexion en tant que variables d'environnement. Vous pouvez également créer un fichier de propriétés et y placer vos données d'identification de base de données, ainsi que les options courantes. Consultez "lift help <command" pour afficher la liste des options prises en charge par l'interface CLI de Lift.

Puis-je utiliser l'interface CLI d'IBM Lift pour les données régies par la loi Health Insurance Portability Accountability Act (HIPAA) ?

L'interface CLI d'IBM Lift peut être utilisée pour traiter les informations de santé protégées régies par la loi HIPAA si le client, en tant que contrôleur des données, détermine que les mesures de sécurité techniques et organisationnelles sont appropriées aux risques que représentent le traitement et la nature des données à protéger. L'interface CLI d'IBM Lift n'est pas conçue pour traiter les données auxquelles s'appliquent des exigences réglementaires supplémentaires.

Comment configurer Lift pour que l'interface CLI fonctionne avec un proxy HTTP ?

Un fichier de configuration d'environnement appelé lift.environment situé dans le répertoire d'installation bin de l'interface CLI de Lift (<rép install CLI Lift>/bin) peut être créé avec le contenu suivant pour ajouter une configuration de proxy HTTP :

Pour l'hôte proxy, utilisez proxy.host =<nomhôte>. Pour le port de proxy, utilisez proxy.port =<numéro port>. Les deux doivent être spécifiés pour que les paramètres soient pris en compte. Si le proxy requiert une authentification, l'interface CLI de Lift utilise l'authentification de base dans la requête CONNECT en fournissant proxy.user =<utilisateur> et proxy.password =<motdepasse>. Les deux doivent être spécifiés pour que les paramètres d'authentification soient pris en compte.

Exemple de contenu <rép install CLI Lift>/bin/lift.environment (chaque propriété se trouve sur une nouvelle ligne) :

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

Comment ajouter un nouveau certificat X509 à la liste des certificats de confiance pour l'interface CLI de Lift ?

Un fichier de propriétés d'environnement appelé lift.environment situé dans le répertoire d'installation bin de l'interface CLI de Lift (<rép install CLI Lift>/bin) peut être créé avec le contenu suivant pour ajouter un certificat X509 à importer dans le magasin de clés :

Pour l'hôte proxy, utilisez proxy.certificate.path =<chemin complet du fichier de certificats X509>.

Le certificat est ajouté avec l'alias ibm-lift-imported-proxy-cert. Si l'alias existe déjà, le fichier n'est pas importé et doit être supprimé manuellement avant d'exécuter à nouveau l'interface CLI. Vous pouvez supprimer le certificat à l'aide de l'outil de clés Java dans le magasin de clés de confiance Java de l'interface CLI de Lift dans <rép install CLI Lift>/jre/lib/security/cacerts (par exemple, keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <rép install CLI Lift>/jre/lib/security/cacerts -storepass changeit).

L'interface CLI de Lift peut-elle être installée directement sur PureData System for Analytics ?

Oui, l'interface CLI de Lift peut être installée sur PureData System for Analytics, mais un stockage supplémentaire doit être associé pour fournir aux données extraites suffisamment d'espace disque de transfert.

Quelles sont les meilleures pratiques pour connecter et configurer le stockage supplémentaire pour PureData System for Analytics ?

Les notes techniques suivantes décrivent les étapes de montage des systèmes SAN/NFS sur PureData Systems for Analytics. Elles incluent également les meilleures pratiques de connexion et de configuration des stockages supplémentaires pour PureData System for Analytics.

1. Ajout d'un stockage SAN à PureData Systems for Analytics : http://www.ibm.com/support/docview.wss?uid=swg21700900

2. IBM PureData System for Analytics - Montage NFS sur le dispositif : http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. Montage du système de fichiers NFS sur les systèmes PureData for Analytics : http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

Dans quelle partie de mon système sur site dois-je installer l'interface CLI de Lift si j'utilise des sources IBM PureData System for Analytics ?

Lorsque vous installez l'interface CLI de Lift pour des sources PureData System for Analytics, installez-la sur votre système d'injection (le système que vous utilisez pour l'étape de chargement des données dans la base de données PureData System for Analytics). Ce système aura une bonne connectivité avec PureData System for Analytics et disposera de beaucoup d'espace disque pour le transfert des données. Cependant, si votre système d'injection est déjà totalement plein, installez l'interface CLI de Lift sur un système similaire qui est également connecté et qui dispose d'un espace disque de transfert important.

Où dois-je installer l'interface CLI de Lift pour obtenir le meilleur débit si j'utilise IBM PureData System for Analytics comme source ?

Nous vous recommandons fortement d'installer l'interface CLI de Lift sur une machine Linux. Lorsque l'interface CLI de Lift est installée sur une machine Linux, l'extraction de données à partir de sources PureData System for Analytics est effectuée avec des dispositifs de déchargement à grande vitesse. Installez l'interface CLI de Lift sur Linux pour obtenir un meilleur débit global lorsque votre source est PureData System for Analytics.

Où dois-je installer l'interface CLI de Lift pour obtenir le meilleur débit si j'utilise IBM Db2 for Linux, UNIX and Windows comme source ?

Nous vous recommandons vivement d'installer l'interface CLI de Lift sur une machine Linux disposant du client Db2. L'installation de l'interface CLI de Lift sur votre machine Linux avec le client Db2 améliore considérablement le débit global. Lorsque l'interface CLI de Lift ne parvient pas à détecter le client Db2, une stratégie d'extraction différente est utilisée et il se peut que vous constatiez un débit d'extraction réduit. Le message sur la console "Lift procède à l'extraction de données à de faibles vitesses. Vous pouvez améliorer le temps d'extraction en installant et en configurant le client Db2. Pour plus d'informations, visitez http://ibm.biz/BdZcFp" (lien externe à IBM) s'affiche lorsque le client Db2 n'est pas disponible sur la machine sur laquelle l'interface CLI de Lift est installée.

Quelles sont les conditions requises par le client Db2 pour extraire mes données à partir d'IBM Db2 for Linux, UNIX and Windows avec de meilleures performances ?

Prérequis pour que l'interface CLI de Lift puisse utiliser le client Db2 :

1. La commande db2 (pour Linux) ou db2cmd (pour Windows) doit être disponible dans PATH.

  • Linux : <REP_DE_BASE_PROPRIETAIRE_INSTANCE>/sqllib/db2profile doit être appliqué à l'environnement avant l'exécution de l'interface CLI de Lift
  • Windows : Le client Db2 doit être défini en tant qu'instance par défaut

2. L'utilisateur du système d'exploitation doit être inclus dans le groupe SYSADM de l'instance du client Db2 si l'interface CLI de Lift est exécutée à distance à partir du serveur IBM Db2 for Linux, UNIX and Windows.

3. La version du client Db2 doit être identique ou supérieure à la version du serveur IBM Db2 for Linux, UNIX and Windows.

Puis-je migrer des tables comportant des colonnes masquées à partir d'une base de données source Db2 ?

Oui. L'extraction de colonnes masquées est prise en charge par l'interface CLI de Lift. Par défaut, les colonnes masquées ne sont pas incluses dans le fichier CSV extrait. Si vous souhaitez inclure des colonnes masquées dans les données extraites, indiquez explicitement tous les noms de colonnes, sans omettre les noms de colonnes masquées, à l'aide de l'option de sélection de colonne. Voir "lift extract -help" pour plus d'informations sur l'option de sélection de colonnes.

Quelles sont les conditions requises par le client Oracle pour extraire mes données à partir d'un serveur Oracle avec de meilleures performances ?

Les prérequis pour que l'interface CLI de Lift puisse utiliser le client Orale sont les suivants :

1. Installez les modules de base et d'outils du client Oracle.

2. Vérifiez que le chemin du programme exp est ajouté à la variable d'environnement PATH.

3. En fonction de votre environnement, vous devrez peut-être ajouter le chemin de la bibliothèque du client Oracle au chemin de la bibliothèque du système d'exploitation (par exemple, LD_LIBRARY_PATH).

4. La version du client Oracle doit être identique ou ultérieure à la version du serveur Oracle.

Remarque : Il n'est pas nécessaire de pré-configurer la connexion à la base de données source à partir du client Oracle.

Puis-je migrer une table comportant des caractères internationaux incluant un jeu de caractères multi-octets ?

Oui. L'interface CLI de Lift utilise une page de codes UTF-8 et prend en charge la conversion de données à partir des jeux de caractères Oracle couramment utilisés.

La liste suivante répertorie les jeux de caractères de base de données Oracle pris en charge (NLS_CHARACTERSET) :

AL32UTF8, AR8ISO8859P6, AR8MSWIN1256, BLT8ISO8859P13, BLT8MSWIN1257, CL8ISO8859P5, CL8MSWIN1251, EE8ISO8859P2, EE8MSWIN1250, EL8ISO8859P7, EL8MSWIN1253, IW8ISO8859P8, IW8MSWIN1255, JA16EUC, JA16EUCTILDE, JA16SJIS, JA16SJISTILDE, KO16MSWIN949, NEE8ISO8859P4, TH8TISASCII, TR8MSWIN1254, VN8MSWIN1258, WE8ISO8859P15, WE8ISO8859P9, WE8MSWIN1252, ZHS16GBK, ZHT16HKSCS, ZHT16MSWIN950, ZHT32EUC, ALE16UTF16

Vous pouvez déterminer le jeu de caractères de la base de données Oracle source à l'aide de la requête SQL suivante :

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

Le client Oracle est configuré sur la machine de l'interface CLI de Lift, mais l'interface affiche un message similaire au suivant : "Lift procède à l'extraction de données à faibles vitesses. La table source contient des types de données qui réduisent la vitesse à laquelle Lift peut extraire des données". Pourquoi ne puis-je pas extraire de données à des vitesses plus élevées ?

L'interface CLI de Lift utilise un mode dégradé si la table source possède l'un des types de données suivants :

BINARY_FLOAT, BINARY_DOUBLE, LOB, BLOB, CLOB, BFILE, XML, ROWID, UROWID

Chaque table est évaluée séparément. Ce mode dégradé n'affecte que l'opération d'extraction de table en cours en raison de la présence des types de données concernés.

Dois-je configurer les outils Microsoft SQL Server sur le client pour utiliser l'interface CLI de Lift ?

Non. L'interface CLI de Lift n'a besoin d'aucune autre configuration supplémentaire d'outils pour la migration de données.

Commencer à utiliser IBM Lift

Découvrez comment effectuer une migration des données en quelques minutes.