Wie migriert Lift CLI meine Daten zu IBM Db2 Warehouse on Cloud?

Wenn Sie Daten aus Ihrer IBM PureData System for Analytics (Netezza) Datenbank migrieren, müssen Sie mit „lift extract“ zuerst eine Datenbanktabelle lokal in eine CSV-Datei extrahieren. Anschließend übertragen Sie diese CSV-Datendatei mit „lift put“ in den IBM Db2 Warehouse on Cloud Zielbereich. Dabei handelt es sich um einen vorab zugeordneten Datenträger, der für das Laden und Löschen von Daten verwendet wird. Schließlich laden Sie die hochgeladene CSV-Datendatei mit „lift load“ in die Engine. Nachdem der Ladevorgang abgeschlossen wurde, können Sie die Datendatei mit „lift rm“ löschen.

Bei mehreren CSV-Dateien gehen Sie analog vor. Zuerst übertragen Sie Ihre CSV-Datendateien mit „lift put“ in den IBM Db2 Warehouse on Cloud Zielbereich. Dabei handelt es sich um einen vorab zugeordneten Datenträger, der für das Laden und Löschen von Daten verwendet wird. Schließlich laden Sie die hochgeladene CSV-Datendatei mit „lift load“ in die Engine. Nachdem der Ladevorgang abgeschlossen wurde, können Sie die Datendatei mit „lift rm“ löschen.

Wie groß darf eine zu migrierende Datenbank maximal sein?

Es gibt keine Größenbeschränkung für die Datenbank. Beachten Sie jedoch, dass die Dauer Ihrer Datenbankmigration von der Geschwindigkeit Ihrer Netzwerkverbindung, vom Volumen der zu verschiebenden nicht komprimierten Daten und von den Hardwareprofilen Ihrer Quellen- und Zielcomputer abhängt. Mit anderen Worten: Die Leistung kann stark variieren.

Welche Datenbankartefakte kann ich migrieren?

Die Lift CLI migriert Ihre Tabellen oder CSV-Dateien zu einem IBM Cloud Datenziel. Wenn Sie andere Datenbankartefakte migrieren müssen, z. B. Tabellen, Ansichten oder Speicherprozeduren, verwenden Sie die IBM Database Conversion Workbench.

Wo muss ich mein CLI Paket installieren, um die beste Leistung zu erzielen?

Es wird empfohlen, die CLI auf einer Maschine zu installieren und auszuführen, die sich aus Netzwerksicht in der Nähe Ihrer Datenbankquelle befindet (minimale Latenzzeit). Dadurch wird sichergestellt, dass Ihre Daten in Ihrer On-Premises-Umgebung schneller extrahiert und bereitgestellt werden, sodass sich die allgemeine End-to-End-Datenmigrationszeit verkürzt.

Welche Netzports müssen auf meinem On-Premises-System offen sein?

Auf der Maschine, auf der die Lift CLI ausgeführt wird, müssen die folgenden Ports geöffnet werden:

ZweckProtocolAnleitungZielgruppePort
Aspera Transfer TCPABGEHEND INTERNET 33001*
Aspera Transfer UDP ABGEHEND INTERNET 33001*
SSL-gesicherte DB2 Warehouse on Cloud JDBC TCPABGEHEND INTERNET 50001
DB2 Warehouse on Cloud REST Load API TCPABGEHEND INTERNET 8443
Lift Core Services TCPABGEHEND INTERNET 443

 

*Wenn die Lift CLI die ABGEHENDE Verbindung zum Db2 Warehouse on Cloud Cluster an Port 33001 initialisiert hat, fällt eingehender Rücklaufdatenverkehr an. Der lokale Port wird vom Betriebssystem nach dem Zufallsprinzip aus dem Bereich ephemerer Ports ausgewählt. Alle modernen Firewalls sind statusabhängig (oder verbindungs- oder zustandsbestimmt) und es wird erwartet, dass kein Port für EINGEHENDE Daten geöffnet werden muss.  

Welche On-Premises-Speicheranforderungen gelten für die Extraktion meiner Daten?

Bei Linux und MacOS muss der Mindestspeicher mindestens so groß wie die On-Disk-Darstellung Ihrer größten Tabelle sein (unkomprimiert).

Bei Windows muss der Mindestspeicher mindestens doppelt so groß wie die On-Disk-Darstellung Ihrer größten Tabelle sein (unkomprimiert).

Wie verhalte ich mich, wenn der Db2 Warehouse on Cloud for Analytics Zielbereich nicht genügend Festplattenspeicher für meine größte Tabelle bietet?

Sie können „lift df“ ausführen, um den verfügbaren Plattenspeicherplatz im Db2 Warehouse on Cloud for Analytics Zielbereich zu überprüfen. Sie können Speicherplatz freigeben, indem Sie „lift rm“ ausführen. Sollte auch dies nicht reichen, können Sie Ihre Tabelle in mehrere Dateiblöcke zerlegen und diese mithilfe der Option „size“ einzeln hochladen.

Die Geschwindigkeit, mit der Lift arbeitet, ist toll. Ich würde jedoch gern wissen, ob es eine Möglichkeit gibt, den Upload in Netzwerken mit begrenzter Bandbreite zu verlangsamen.

Gerne. Mit der Option „lift put --max-throughput“ können Sie den Durchsatz für die Datenübertragung begrenzen.

Ich möchte meine Datenbankberechtigungsnachweise und andere gängige Optionen nicht immer wieder neu eingeben müssen? Kann ich sie als Umgebungsvariablen einstellen oder irgendwo zur Referenz speichern?

Ja. Sie können Verbindungsberechtigungsnachweise als Umgebungsvariablen einstellen. Sie können auch eine Eigenschaftendatei erstellen und Ihre Datenbankberechtigungsnachweise und allgemeinen Optionen dort ablegen. Wenn Sie „lift help <Befehl>“ eingeben, wird eine Liste der von Lift CLI unterstützten Optionen angezeigt.

Kann ich IBM Lift CLI für Daten verwenden, die dem U.S. Health Insurance Portability and Accountability Act (HIPAA) unterliegen?

Wenn Sie geschützte Gesundheitsinformationen, die dem HIPAA unterliegen, mit IBM Lift CLI verarbeiten möchten, muss der Kunde als Datenverantwortlicher bestätigen, dass geeignete technische und organisatorische Sicherheitsmaßnahmen für die Risiken im Zusammenhang mit der Art und Verarbeitung der zu schützenden Daten getroffen wurden. IBM Lift CLI ist nicht für die Verarbeitung von Daten geeignet, für die zusätzliche gesetzliche Bestimmungen gelten.

Wie konfiguriere ich Lift CLI, um einen HTTP-Proxy zu verwenden?

Wenn Sie eine HTTP-Proxy-Konfiguration hinzufügen möchten, können Sie die Umgebungskonfigurationsdatei „lift.environment“ im Verzeichnis „bin“ der Lift CLI Installation (<Lift CLI Installationsverzeichnis>/bin) erstellen. Sie muss folgende Informationen enthalten:

Für den Proxy-Host verwenden Sie „proxy.host =<Hostname>“. Für den Proxy-Port verwenden Sie „proxy.port =<Portnummer>“. Beide müssen angegeben werden, damit die Einstellungen wirksam werden. Wenn der Proxy eine Authentifizierung erfordert, verwendet die Lift CLI die Basisauthentifizierung in der CONNECT-Anforderung, indem sie „proxy.user =<Benutzer>“ und „proxy.password =<Kennwort>“ bereitstellt. Beide müssen angegeben werden, damit die Authentifizierungseinstellungen wirksam werden.

Beispiel für den Inhalt der Datei <Lift CLI Installationsverzeichnis>/bin/lift.environment (jede Eigenschaft befindet sich auf einer neuen Zeile):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

Wie kann ich ein neues X509-Zertifikat zur Liste der vertrauenswürdigen Zertifikate für die Lift CLI hinzufügen?

Wenn Sie ein X509-Zertifikat hinzufügen möchten, das in den Truststore importiert werden soll, können Sie die Umgebungseigenschaftendatei „lift.environment“ im Verzeichnis „bin“ der Lift CLI Installation (<Lift CLI Installationsverzeichnis>/bin) erstellen. Sie muss folgende Informationen enthalten:

Für den Proxy-Host verwenden Sie „proxy.certificate.path =<vollständig qualifizierter Pfad zur X509-Zertifikatsdatei>“.

Das Zertifikat wird mit dem Alias „ibm-lift-import-proxy-cert“ hinzugefügt. Wenn der Alias bereits vorhanden ist, wird die Datei nicht importiert. Sie muss manuell entfernt werden, bevor die CLI erneut ausgeführt wird. Sie können das Zertifikat mit dem Java-Keytool im Java-Truststore der Lift CLI im Verzeichnis <Lift CLI Installationsverzeichnis>/jre/lib/security/cacerts entfernen (z. B. keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI Installationsverzeichnis>/jre/lib/security/cacerts -storepass changeit).

Kann die Lift CLI direkt unter PureData System for Analytics installiert werden?

Ja, die Lift CLI kann unter PureData System for Analytics installiert werden. Sie müssen jedoch zusätzlichen Speicher zuordnen, um den extrahierten Daten genügend Staging-Plattenspeicher zur Verfügung zu stellen.

Was sind die Best Practices für das Zuordnen und Konfigurieren von zusätzlichem Speicher für PureData System for Analytics?

Die folgenden technischen Hinweise informieren über Schritte zum Mounten von SAN/NFS-Systemen unter PureData Systems for Analytics. Sie enthalten auch Best Practices für das Zuordnen und Konfigurieren von zusätzlichem Speicher für PureData System for Analytics.

1. Hinzufügen von SAN-Speicher zu PureData Systems for Analytics: http://www.ibm.com/support/docview.wss?uid=swg21700900

2. IBM PureData System for Analytics: Mounten von NFS auf der Appliance: http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. Mounten des NFS-Dateisystems auf PureData for Analytics Systemen: http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

Auf welchem Teil meines On-Premises-Systems muss ich die Lift CLI installieren, wenn ich IBM PureData System for Analytics Quellen verwenden möchte?

Eine Lift CLI für PureData System for Analytics Quellen installieren Sie auf Ihrem Injektionssystem (System, mit dem Sie Daten bereitstellen, die in die PureData System for Analytics Datenbank geladen werden sollen). Es zeichnet sich durch eine gute Konnektivität zum PureData System for Analytics und viel Plattenspeicher für Staging-Daten aus. Wenn Ihr Injektionssystem jedoch bereits vollständig geladen ist, installieren Sie die Lift CLI auf einem System mit vergleichbarer Konnektivität und ähnlich großem Staging-Plattenspeicher.

Wo muss ich die Lift CLI installieren, um den besten Durchsatz zu erzielen, wenn ich IBM PureData System for Analytics als Quelle verwenden möchte?

Es wird dringend empfohlen, die Lift CLI auf einer Linux-Maschine zu installieren. Wenn Ihre Lift CLI auf einer Linux-Maschine installiert ist, werden die Daten aus PureData System for Analytics Quellen durch Hochgeschwindigkeitsladefunktionen extrahiert. Installieren Sie Ihre Lift CLI unter Linux, um einen deutlich höheren Gesamtdurchsatz zu erzielen, wenn Sie PureData System for Analytics als Quelle verwenden.

Wo muss ich die Lift CLI installieren, um den besten Durchsatz zu erzielen, wenn ich IBM Db2 for Linux UNIX and Windows als Quelle verwende?

Es wird dringend empfohlen, die Lift CLI auf einer Linux-Maschine mit einer Db2 Clientinstallation zu installieren. Die Installation der Lift CLI auf einer Linux-Maschine mit dem Db2 Client erhöht den Gesamtdurchsatz deutlich. Wenn die Lift CLI den Db2 Client nicht erkennt, wird eine andere Extraktionsstrategie angewendet, die möglicherweise einen geringeren Extraktionsdurchsatz erzielt. Unter Umständen wird die folgende Konsolennachricht ausgegeben: „Lift is extracting data at sub-light speeds. You can improve extraction time by installing and configuring the Db2 client. For more information, visit http://ibm.biz/BdZcFp“ (Lift extrahiert Daten mit Unterlichtgeschwindigkeiten. Sie können die Extraktionszeit verkürzen, indem Sie den db2 Client installieren und konfigurieren. Weitere Informationen erhalten Sie auf http://ibm.biz/BdZcFp.) (Dieser Link befindet sich außerhalb von IBM). In diesem Fall ist kein Db2 Client auf der Maschine verfügbar, auf der Lift CLI installiert wird.

Welche Db2 Clientanforderungen müssen erfüllt werden, um eine bessere Leistung beim Extrahieren meiner Daten aus IBM Db2 for Linux UNIX and Windows zu erzielen?

Voraussetzungen, wenn die Lift CLI den Db2 Client verwenden soll:

1. Der Befehl db2 (für Linux) bzw. db2cmd (für Windows) muss in PATH verfügbar sein.

  • Linux: <AUSGANGSVERZEICHNIS_DES_INSTANZEIGNERS>/sqllib/db2profile muss vor der Ausführung von Lift CLI auf die Umgebung angewendet werden.
  • Windows: Der Db2 Client muss als Standardinstanz festgelegt werden.

2. Der Betriebssystembenutzer muss in die SYSADM-Gruppe der Db2 Clientinstanz aufgenommen werden, wenn Lift CLI remote vom IBM Db2 for Linux UNIX and Windows Server aus ausgeführt wird.

3. Der Db2 Client muss mindestens dieselbe Version wie der IBM Db2 for Linux UNIX and Windows Server haben.

Kann ich Tabellen migrieren, die ausgeblendete Spalten aus einer Db2 Quellendatenbank enthalten?

Ja. Lift CLI unterstützt die Extraktion verdeckter Spalten. Ausgeblendete Spalten werden standardmäßig nicht in die extrahierte CSV-Datei aufgenommen. Wenn Sie ausgeblendete Spalten in die extrahierten Daten einbeziehen möchten, geben Sie mithilfe der Spaltenauswahloption alle Spaltennamen zusammen mit den Namen der verdeckten Spalten explizit an. Weitere Informationen zur Spaltenauswahloption finden Sie unter „lift extract –help“.

Welche Oracle-Clientanforderungen müssen erfüllt werden, um eine bessere Leistung beim Extrahieren meiner Daten von einem Oracle-Server zu erzielen?

Die folgenden Voraussetzungen müssen erfüllt werden, damit die Lift CLI den Oracle-Client verwenden kann:

1. Installieren Sie die Basis- und Toolmodule des Oracle-Clients.

2. Stellen Sie sicher, dass der Exp-Programmpfad zur Umgebungsvariablen PATH hinzugefügt wird.

3. Je nach Ihrer Umgebung müssen Sie den Bibliothekspfad des Oracle-Clients möglicherweise zum Bibliothekspfad des Betriebssystems hinzufügen (z. B. LD_LIBRARY_PATH).

4. Der Oracle-Client muss mindestens dieselbe Version wie der Oracle-Server haben.

Hinweis: Sie müssen die Quellendatenbankverbindung nicht über den Oracle-Client vorkonfigurieren.

Kann ich eine Tabelle mit Zeichen des internationalen Zeichensatzes migrieren, zu denen ein Mehrbytezeichensatz gehört?

Ja. Lift CLI verwendet eine UTF-8-Codepage und unterstützt die Datenkonvertierung von häufig verwendeten Oracle-Zeichensätzen.

Im Folgenden finden Sie eine Liste der unterstützten Oracle-Datenbankzeichensätze (NLS_CHARACTERSET):

AL32UTF8, AR8ISO8859P6, AR8MSWIN1256, BLT8ISO8859P13, BLT8MSWIN1257, CL8ISO8859P5, CL8MSWIN1251, EE8ISO8859P2, EE8MSWIN1250, EL8ISO8859P7, EL8MSWIN1253, IW8ISO8859P8, IW8MSWIN1255, JA16EUC, JA16EUCTILDE, JA16SJIS, JA16SJISTILDE, KO16MSWIN949, NEE8ISO8859P4, TH8TISASCII, TR8MSWIN1254, VN8MSWIN1258, WE8ISO8859P15, WE8ISO8859P9, WE8MSWIN1252, ZHS16GBK, ZHT16HKSCS, ZHT16MSWIN950, ZHT32EUC, ALE16UTF16

Sie können den Zeichensatz der Oracle-Quellendatenbank mithilfe der folgenden SQL-Abfrage ermitteln:

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

Auf meiner Lift CLI Maschine ist der Oracle-Client konfiguriert, aber die Lift CLI zeigt eine Nachricht an, z. B. „Lift is extracting data at sub-light speeds. The source table contains data types that reduce the speed at which Lift can extract data.“ (Lift extrahiert Daten mit Unterlichtgeschwindigkeiten. Die Quellentabelle enthält Datentypen, die die Datenextraktion durch Lift verlangsamen.) Warum kann ich Daten nicht schneller extrahieren?

Lift CLI verwendet einen herabgesetzten Modus, wenn die Quellentabelle einen der folgenden Datentypen enthält:

BINARY_FLOAT, BINARY_DOUBLE, LOB, BLOB, CLOB, BFILE, XML, ROWID, UROWID

Jede Tabelle wird separat ausgewertet. Dieser herabgesetzte Modus betrifft den aktuellen Tabellenextraktionsvorgang nur, weil die betreffenden Datentypen enthalten sind.

Muss ich Microsoft SQL Server Tools oder den Client einrichten, um die Lift CLI zu verwenden?

Nein. Lift CLI erfordert keine weitere zusätzliche Einrichtung von Tools für die Datenmigration.

Jetzt mit IBM Lift loslegen

Legen Sie in wenigen Minuten mit der Datenmigration los.