Come fa la CLI Lift a migrare i miei dati su IBM Db2 Warehouse on Cloud?

Se stai migrando i dati dal database di IBM PureData System for Analytics (Netezza), è necessario innanzitutto estrarre localmente una tabella di database in un file CSV utilizzando “lift extract.” Successivamente, sarà possibile trasferire il file di dati CSV sull'area di destinazione di IBM Db2 Warehouse on Cloud utilizzando “lift put.” L'area di destinazione di IBM Db2 Warehouse on Cloud è un volume pre-assegnato utilizzato per il caricamento dei dati e lo scratch. Infine, verrà caricato il file di dati CSV nel motore utilizzando “lift load.” Una volta completato il caricamento, è possibile eliminare il file dei dati utilizzando “lift rm.”.

Se stai migrando una serie di file CSV, dovrai seguire una procedura simile a quella precedente. Inizierai trasferendo i tuoi file di dati CSV nell'area di destinazione Db2 Warehouse on Cloud utilizzando “lift put.” L'area di destinazione Db2 Warehouse on Cloud è un volume pre-assegnato utilizzato per il caricamento dei dati e lo scratch. Infine, verrà caricato il file di dati CSV caricato nel motore utilizzando “lift load.” Una volta completato il caricamento, è possibile eliminare il file dei dati utilizzando “lift rm.”.

Esiste una dimensione di database massima che posso migrare?

No, è possibile migrare qualsiasi dimensione di database. Ma tieni presente che la durata della migrazione del tuo database dipende dalla velocità di connessione di rete, dal volume di dati non compressi che devi spostare e dai profili hardware dei tuoi computer di origine e di destinazione. In altre parole, la durata può variare.

Quali risorse del database posso migrare?

La CLI Lift migra le tue tabelle o i file CSV su una destinazione dati di IBM Cloud. Se è necessario migrare altre risorse del database, come tabelle, viste, procedure memorizzate, utilizzare IBM Database Conversion Workbench.

Dove devo installare il mio pacchetto CLI per ottenere le migliori prestazioni?

Ti consigliamo di installare ed eseguire la CLI da una macchina che è in rete (latenza minima) su un'origine del database. Questo garantirà che i tuoi dati vengano estratti e gestiti più velocemente nel tuo ambiente on-premise, migliorando così la durata complessiva della migrazione dei dati end-to-end.

Quali porte di rete devono essere aperte sul mio sistema on-premise?

È necessario che sulla macchina su cui è in esecuzione la CLI Lift, siano aperte le seguenti porte:

ObiettiviProtocolloDirezioneDestinazionePorta
Trasferimento AsperaTCPIN USCITAINTERNET33001*
Trasferimento AsperaUDPIN USCITAINTERNET33001*
JDBC protetto da SSL di Db2 Warehouse on CloudTCPIN USCITAINTERNET50001
API REST di caricamento di DB2 Warehouse on CloudTCPIN USCITAINTERNET8443
Servizi principali LiftTCPIN USCITAINTERNET443

 

*Ci sarà traffico restituito in entrata quando la connessione IN USCITA è stata avviata dalla CLI Lift verso il cluster Db2 Warehouse on Cloud sulla porta 33001. La porta locale, che sarà una tra le porte effimere, sarà scelta casualmente dal sistema operativo. Tutti i firewall moderni sono stateful (o con riconoscimento di connessione o di stato) e si prevede che non ci sarà bisogno di aprire alcuna porta IN ENTRATA.  

Quali sono i requisiti di storage on-premise per estrarre i miei dati?

Per Linux e MacOS, lo storage minimo deve essere maggiore o uguale alla rappresentazione su disco della tua tabella più grande (non compressa).

Per Windows, lo storage minimo deve essere il doppio o uguale alla rappresentazione su disco della tua tabella più grande (non compressa).

E se non ci fosse abbastanza spazio su disco nell'area di destinazione di Db2 Warehouse on Cloud for Analytics per contenere la mia tabella più grande?

È possibile eseguire “lift df” per verificare lo spazio su disco disponibile nell'area di destinazione di Db2 Warehouse on Cloud for Analytics. È possibile liberare spazio eseguendo “lift rm.” Se ancora non hai spazio sufficiente, puoi dividere la tabella in più blocchi di file e caricarli singolarmente usando l'opzione “lift extract –size”.

Mi piace che Lift sia così veloce, ma posso rallentare la velocità di caricamento se mi trovo su una rete a banda limitata?

Certamente. È possibile utilizzare l'opzione “lift put --max-throughput” per limitare la velocità di trasmissione utilizzata dal trasferimento dati.

Non voglio continuare a digitare le mie credenziali di database e le altre opzioni comuni. Posso impostarle come variabili di ambiente o conservarle da qualche parte come riferimento?

Sì. È possibile impostare le credenziali di connessione come variabili di ambiente. È anche possibile creare un file delle proprietà e inserirvi le credenziali del database e le opzioni comuni. Dai un'occhiata a “lift help <command“ per visualizzare un elenco di opzioni supportate dalla CLI Lift.

Posso utilizzare la CLI IBM Lift per i dati regolamentati in HIPAA?

La CLI IBM Lift può essere utilizzata per elaborare le PHI (Protected Health Information) regolamentate in HIPAA se il Cliente, in qualità di controller dei dati, stabilisce che le misure di sicurezza tecniche e organizzative sono adeguate ai rischi legati all'elaborazione e alla natura dei dati da proteggere. La CLI IBM Lift non è progettata per elaborare i dati a cui si applicano ulteriori requisiti normativi.

Come posso configurare Lift sulla CLI in modo che utilizzi un proxy HTTP?

È possibile creare un file di configurazione di ambiente chiamato lift.environment, ubicato nella directory bin di installazione della CLI Lift ( <Lift CLI install dir>/bin) con i seguenti contenuti per aggiungere una configurazione proxy HTTP:

Per l'host proxy, utilizzare proxy.host =<hostname>. Per la porta proxy, utilizzare proxy.port =<port number>. Entrambi devono essere specificati per far sì che le impostazioni siano attive. Se il proxy richiede l'autenticazione, la CLI Lift utilizza l'autenticazione di base nella richiesta CONNECT, fornendo proxy.user =<user> e proxy.password =<password>. Entrambi devono essere specificati per far sì che le impostazioni di autenticazione siano attive.

Esempio di contenuti <Lift CLI install dir>/bin/lift.environment (ogni proprietà è su una nuova riga):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

Come posso aggiungere un nuovo certificato X509 all'elenco dei certificati attendibili per la CLI Lift?

È possibile creare un file di proprietà dell'ambiente chiamato lift.environment ubicato nella directory bin di installazione della CLI Lift ( <Lift CLI install dir>/bin) con i seguenti contenuti per aggiungere un certificato X509 da importare nell'archivio di fiducia.

Per l'host proxy, utilizzare proxy.certificate.path =<fully qualified path to the X509 certificate file>.

Il certificato viene aggiunto con l'alias ibm-lift-imported-proxy-cert. Se l'alias esiste già, il file non viene importato e deve essere rimosso manualmente prima di eseguire nuovamente la CLI. È possibile rimuovere il certificato utilizzando il keytool Java sull'archivio Java di fiducia della CLI Lift in <Lift CLI install dir>/jre/lib/security/cacerts (ovvero, keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit).

È possibile installare la CLI Lift direttamente su PureData System for Analytics?

Sì, la CLI Lift può essere installata su PureData System for Analytics, ma è necessario associare storage aggiuntivo per offrire ai dati estratti spazio sufficiente su disco per la gestione temporanea.

Quali sono le best practice per associare e configurare lo storage aggiuntivo per PureData System for Analytics?

Le seguenti note tecniche spiegano i passaggi per montare i sistemi SAN/NFS su PureData Systems for Analytics. Includono anche le best practice per associare e configurare lo storage aggiuntivo per PureData System for Analytics.

1. Adding SAN Storage to PureData Systems for Analytics: http://www.ibm.com/support/docview.wss?uid=swg21700900

2. IBM PureData System for Analytics Mounting NFS on the appliance: http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. Mounting NFS filesystem on PureData for Analytics systems: http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

Su quale parte del mio sistema on-premise dovrei installare la CLI Lift se sto utilizzando le origini IBM PureData System for Analytics?

Quando si installa la CLI Lift per le origini di PureData System for Analytics, installare la CLI Lift sul sistema di "iniezione" (il sistema che si usa per gestire temporaneamente i dati da caricare nel database PureData System for Analytics). Quel sistema avrà una buona connettività a PureData System for Analytics e avrà molto spazio su disco per la gestione temporanea dei dati. Tuttavia, se il tuo sistema di iniezione è già completamente caricato, installare la CLI Lift su un sistema simile che è connesso in modo analogo e che presenta notevole spazio su disco per la gestione temporanea.

Dove dovrei installare la CLI Lift per ottenere la migliore velocità di trasmissione se uso IBM PureData System for Analytics come origine?

Consigliamo vivamente di installare la CLI Lift su una macchina Linux. Quando la CLI Lift viene installata su una macchina Linux, l'estrazione dei dati dalle origini PureData System for Analytics viene eseguita con funzionalità di scaricamento ad alta velocità. Installa la tua CLI Lift su Linux per una velocità di trasmissione complessiva di gran lunga migliore quando la tua origine è PureData System for Analytics.

Dove dovrei installare la CLI Lift per ottenere la migliore velocità di trasmissione se uso IBM Db2 System per Linux UNIX e Windows come origine?

Consigliamo vivamente di installare la CLI Lift su una macchina Linux con installazione del client Db2. Installando la CLI Lift sulla tua macchina Linux con il client Db2, la velocità di trasmissione complessiva migliora notevolmente. Quando la CLI Lift non riesce a rilevare il client Db2, viene utilizzata una diversa strategia di estrazione e si potrebbe notare una velocità di trasmissione dell'estrazione ridotta. Viene visualizzato un messaggio sulla console "Lift is extracting data at sub-light speeds. You can improve extraction time by installing and configuring the Db2 client. For more information, visit http://ibm.biz/BdZcFp" (link esterno a IBM) quando il client Db2 non è disponibile sulla macchina sulla quale è installata la CLI Lift.

Quali sono i requisiti del client Db2 per estrarre i miei dati da IBM Db2 per Linux UNIX e Windows con prestazioni migliori?

Prerequisiti per far sì che la CLI Lift utilizzi il client Db2:

1. Il comando db2 (per Linux) o db2cmd (per Windows) deve essere disponibile in PATH.

  • Linux: <INSTANCE_OWNER_HOME>/sqllib/db2profile deve essere applicato all'ambiente prima di eseguire la CLI Lift
  • Windows: Il client Db2 deve essere impostato come istanza predefinita

2. L'utente del sistema operativo deve essere incluso nel gruppo SYSADM dell'istanza del client Db2 se la CLI Lift viene eseguita in remoto dal server IBM Db2 per Linux UNIX e Windows.

3. La versione del client Db2 deve essere uguale o superiore alla versione del server IBM Db2 per Linux UNIX e Windows.

Posso migrare le tabelle che hanno colonne nascoste da un database di origine Db2?

Sì. L'estrazione delle colonne nascoste è supportata dalla CLI Lift. Per impostazione predefinita, le colonne nascoste non sono incluse nel file CSV estratto. Se si desidera includere le colonne nascoste nei dati estratti, specificare esplicitamente tutti i nomi delle colonne insieme ai nomi delle colonne nascoste utilizzando l'opzione di selezione delle colonne. Fare riferimento a “lift extract –help” per ulteriori informazioni sull'opzione di selezione delle colonne.

Quali sono i requisiti del client Oracle per estrarre i miei dati da un server Oracle con prestazioni migliori?

Di seguito sono riportati i prerequisiti per far sì che la CLI Lift utilizzi il client Oracle:

1. Installare i moduli di base e gli strumenti del client Oracle.

2. Assicurarsi che il percorso del programma di esportazione venga aggiunto alla variabile di ambiente PATH.

3. A seconda dell'ambiente, potrebbe essere necessario aggiungere il percorso della libreria del client Oracle al percorso della libreria del sistema operativo (ad esempio LD_LIBRARY_PATH).

4. La versione del client Oracle deve essere uguale o successiva alla versione del server Oracle.

Nota: Non è necessario pre-configurare la connessione del database di origine dal client Oracle.

Posso migrare una tabella con caratteri internazionali che include una serie di caratteri multibyte?

Sì. La CLI Lift utilizza una pagina di codice UTF-8 e supporta la conversione dei dati da serie di caratteri Oracle comunemente utilizzati.

Di seguito è riportato un elenco di serie di caratteri del database Oracle (NLS_CHARACTERSET) supportati:

AL32UTF8, AR8ISO8859P6, AR8MSWIN1256, BLT8ISO8859P13, BLT8MSWIN1257, CL8ISO8859P5, CL8MSWIN1251, EE8ISO8859P2, EE8MSWIN1250, EL8ISO8859P7, EL8MSWIN1253, IW8ISO8859P8, IW8MSWIN1255, JA16EUC, JA16EUCTILDE, JA16SJIS, JA16SJISTILDE, KO16MSWIN949, NEE8ISO8859P4, TH8TISASCII, TR8MSWIN1254, VN8MSWIN1258, WE8ISO8859P15, WE8ISO8859P9, WE8MSWIN1252, ZHS16GBK, ZHT16HKSCS, ZHT16MSWIN950, ZHT32EUC, ALE16UTF16

È possibile determinare la serie di caratteri del database Oracle di origine utilizzando la seguente query SQL:

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

Il client Oracle è configurato sulla macchina su cui è presente la CLI Lift, ma la CLI Lift visualizza un messaggio come il seguente “Lift is extracting data at sub-light speeds. The source table contains data types that reduce the speed at which Lift can extract data.” Perché non riesco a estrarre i dati con una velocità superiore?

La CLI Lift utilizza una modalità con prestazioni inferiori se la tabella di origine ha uno dei seguenti tipi di dati:

BINARY_FLOAT, BINARY_DOUBLE, LOB, BLOB, CLOB, BFILE, XML, ROWID, UROWID

Ogni tabella viene valutata separatamente. Questa modalità con prestazioni inferiori influisce solo sull'operazione di estrazione della tabella corrente a causa della presenza dei tipi di dati interessati.

Devo impostare gli strumenti del server SQL Microsoft o il client in modo che utilizzino la CLI Lift?

No. La CLI Lift non ha bisogno di impostazioni aggiuntive degli strumenti per la migrazione dei dati.

Inizia a utilizzare IBM Lift

Inizia con la migrazione dei dati in pochi minuti.