W jaki sposób interfejs CLI Lift przenosi moje dane do środowiska IBM Db2 Warehouse on Cloud?

Jeśli przenosisz dane z bazy danych IBM PureData System for Analytics (Netezza), musisz najpierw lokalnie wyodrębnić tabelę bazy danych do pliku CSV przy użyciu komendy „lift extract”. Następnie przenosisz plik CSV bazy danych do wyznaczonej strefy w rozwiązaniu IBM Db2 Warehouse on Cloud przy użyciu komendy „lift put”. Wyznaczona strefa w hurtowni IBM Db2 Warehouse on Cloud to wstępnie przydzielony wolumin służący do wczytywania i kasowania danych. Następnie wczytujesz przesłany plik CSV bazy danych do mechanizmu przy użyciu komendy „lift load”. Po zakończeniu wczytywania możesz skasować plik danych przy użyciu komendy „lift rm”.

Jeśli przenosisz zestaw plików CSV, postępujesz w podobny sposób, jak to opisano powyżej. Zaczynasz od przeniesienia plików CSV bazy danych do wyznaczonej strefy w rozwiązaniu Db2 Warehouse on Cloud przy użyciu komendy „lift put”. Wyznaczona strefa w hurtowni IBM Db2 Warehouse on Cloud to wstępnie przydzielony wolumin służący do wczytywania i kasowania danych. Następnie wczytujesz przesłany plik CSV bazy danych do mechanizmu przy użyciu komendy „lift load”. Po zakończeniu wczytywania możesz skasować plik danych przy użyciu komendy „lift rm”.

Czy istnieje ograniczenie rozmiaru bazy danych, którą mogę przenieść?

Nie, możesz przenieść bazę danych o dowolnych rozmiarach. Pamiętaj jednak, że czas trwania migracji bazy danych zależy od szybkości połączenia sieciowego, ilości nieskompresowanych danych przeznaczonych do przeniesienia i konfiguracji sprzętowych komputerów, z których przenosisz i do których przenosisz dane. Innymi słowy, długość całego procesu może być różna.

Jakie artefakty bazy danych mogę migrować?

Interfejs CLI Lift migruje tabele lub pliki CSV do chmury IBM Cloud. Aby przenieść inne artefakty bazy danych, takie jak tabele, widoki czy zapisane procedury, skorzystaj z rozwiązania IBM Database Conversion Workbench.

Gdzie zainstalować pakiet CLI, by działał z maksymalną wydajnością?

Zalecamy zainstalowanie i uruchamianie pakietu CLI na maszynie, która szybko łączy się z Twoją źródłową bazą danych (przy minimalnych opóźnieniach). Dzięki temu dane w środowisku lokalnym będą sprawniej wyodrębniane i przygotowywane, co przełoży się na krótszy całkowity czas migracji danych.

Które porty w moim systemie lokalnym muszą być otwarte?

Na maszynie obsługującej interfejs CLI Lift muszą być otwarte następujące porty:

CelProtokółKierunekMiejsce docelowePort
Aspera TransferTCPWYJŚCIOWYINTERNET33001*
Aspera TransferUDPWYJŚCIOWYINTERNET33001*
Db2 Warehouse on Cloud SSL-secured JDBCTCPWYJŚCIOWYINTERNET50001
DB2 Warehouse on Cloud REST Load APITCPWYJŚCIOWYINTERNET8443
Lift Core ServicesTCPWYJŚCIOWYINTERNET443

 

*W odpowiedzi na połączenie WYJŚCIOWE przez interfejs CLI Lift w kierunku klastra Db2 Warehouse on Cloud w porcie 33001 napłynie zwrotny ruch przychodzący. System operacyjny wybierze wtedy losowo lokalny port z zakresu portów efemerycznych. Wszystkie nowoczesne zapory sieciowe są stanowe (świadome połączenia lub stanu). Zakłada się, że otwarcie jakiegokolwiek portu WEJŚCIOWEGO nie będzie wymagane. 

Jakie wymagania musi spełniać lokalna pamięć masowa, aby możliwe było wyodrębnianie danych?

W przypadku systemów Linux i macOS minimalny rozmiar pamięci masowej powinien przekraczać lub równać się rozmiarowi odwzorowania na dysku Twojej największej tabeli (nieskompresowanej).

W przypadku systemu Windows minimalny rozmiar pamięci masowej powinien dwukrotnie przekraczać lub równać się rozmiarowi odwzorowania na dysku Twojej największej tabeli (nieskompresowanej).

Co, jeśli w wyznaczonej strefie hurtowni Db2 Warehouse on Cloud for Analytics brakuje przestrzeni dyskowej, by pomieścić moją największą tabelę?

Możesz przy użyciu komendy „lift df” sprawdzić dostępną przestrzeń dyskową w wyznaczonej strefie hurtowni Db2 Warehouse on Cloud for Analytics. Możesz zwolnić miejsce, uruchamiając komendę „lift rm”. Jeśli nadal brakuje miejsca, możesz podzielić tabelę na szereg plików, a następnie przesyłać je pojedynczo przy użyciu komendy „lift extract –size”.

To świetnie, że rozwiązanie Lift działa tak szybko. Jednak czy można zmniejszyć szybkość przesyłania danych, jeśli korzystam z sieci z limitem przepustowości?

Oczywiście. Komenda „lift put --max-throughput” pozwala ograniczać przepustowość wykorzystywaną na potrzeby transferu danych.

Nie chcę wciąż wprowadzać swoich danych uwierzytelniających do bazy danych i innych często używanych opcji. Czy mogę ustawić je jako zmienne środowiskowe lub przechowywać gdzieś jako odniesienia?

Tak. Dane uwierzytelniające nawiązanie połączenia możesz ustawić jako zmienne środowiskowe. Możesz również utworzyć plik właściwości i umieścić w nim dane uwierzytelniające i inne często używane opcje. Użyj komendy „lift help command”, żeby wyświetlić listę opcji dostępnych w interfejsie CLI Lift.

Czy mogę używać interfejsu CLI IBM Lift do przetwarzania danych podlegających przepisom ustawy HIPAA?

Interfejs CLI IBM Lift może służyć do przetwarzania danych podlegających przepisom ustawy HIPAA, jeśli Klient, jako administrator danych, uzna, że techniczne i organizacyjne środki bezpieczeństwa są wystarczające w obliczu zagrożeń towarzyszących przetwarzaniu danych i konieczności ochrony tych danych. Interfejs CLI IBM Lift nie jest przeznaczony do przetwarzania danych podlegających dodatkowym regulacjom prawnym.

W jaki sposób mogę skonfigurować interfejs CLI Lift tak, by obsługiwał proxy HTTP?

Możesz utworzyć plik konfiguracji środowiskowej o nazwie lift.environment w katalogu bin instalacji Lift CLI ( Lift CLI install dir/bin ), z następującymi właściwościami dodającymi obsługę proxy HTTP:

Dla hosta proxy użyj właściwości proxy.host =<nazwa hosta>. Dla portu proxy użyj właściwości proxy.port =<numer portu>. Należy podać obie właściwości. Jeśli proxy wymaga uwierzytelnienia, interfejs CLI Lift wykorzystuje podstawowe uwierzytelnianie w żądaniu CONNECT, udostępniając właściwości proxy.user =<użytkownik> i proxy.password =<hasło>. Należy podać obie właściwości uwierzytelniania.

Przykład konfiguracji pliku <CLI Lift install dir>/bin/lift.environment (każda właściwość w nowym wierszu):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

Jak dodać nowy certyfikat X509 do listy zaufanych certyfikatów interfejsu CLI Lift?

Możesz utworzyć plik właściwości środowiskowych o nazwie lift.environment w katalogu bin instalacji Lift CLI ( <Lift CLI install dir>/bin ), z następującymi właściwościami importującymi certyfikat X509 do składnicy zaufanych certyfikatów.

Dla hosta proxy użyj właściwości proxy.certificate.path =<pełna ścieżka do pliku certyfikatu X509>.

Certyfikat zostaje dodany z aliasem ibm-lift-imported-proxy-cert. Jeśli dany alias już istnieje, plik nie zostanie zaimportowany i musi zostać usunięty ręcznie przed ponownym uruchomieniem interfejsu CLI. Możesz usunąć certyfikat za pomocą narzędzia Java w zaufanej składnicy Java Lift CLI w <Lift CLI install dir>/jre/lib/security/cacerts (tzn. keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit).

Czy interfejs CLI Lift można zainstalować bezpośrednio w urządzeniu PureData System for Analytics?

Tak, interfejs CLI Lift można zainstalować w urządzeniu PureData System for Analytics. Należy jednak podłączyć dodatkową pamięć masową w celu zapewnienia wystarczającej przestrzeni dyskowej na wyodrębnione dane.

Jak wyglądają sprawdzone procedury podłączania i konfigurowania dodatkowych pamięci masowych dla urządzenia PureData System for Analytics?

Poniższe artykuły techniczne przedstawiają poszczególne etapy montowania systemów SAN/NFS w urządzeniu PureData Systems for Analytics. Zawierają też sprawdzone procedury w zakresie podłączania i konfigurowania dodatkowych pamięci masowych dla urządzenia PureData System for Analytics.

1. Dodawanie pamięci masowej SAN do urządzenia PureData Systems for Analytics: http://www.ibm.com/support/docview.wss?uid=swg21700900

2. Podłączanie systemu plików NFS w systemie IBM PureData System for Analytics: http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. Podłączanie systemu plików NFS w systemach PureData for Analytics: http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

W której części mojego systemu lokalnego zainstalować interfejs CLI Lift, jeśli korzystam ze źródeł IBM PureData System for Analytics?

W przypadku instalacji interfejsu CLI Lift dla źródeł PureData System for Analytics zainstaluj interfejs CLI Lift w systemie wykorzystywanym do tymczasowego przechowywania i przygotowywania danych przed przesłaniem ich do bazy danych PureData System for Analytics. System ten zapewni stabilne połączenie z bazą PureData System for Analytics i mnóstwo przestrzeni dyskowej do przygotowywania danych. Jednak jeśli taki system jest już całkowicie obciążony, zainstaluj interfejs CLI Lift w podobnym systemie, który również zapewnia podobną jakość połączenia i znaczną ilość przestrzeni dyskowej do przygotowywania danych.

Gdzie zainstalować interfejs CLI Lift, by uzyskać najlepszą przepustowość podczas korzystania z IBM PureData System for Analytics jako źródła?

Zdecydowanie zalecamy instalację interfejsu CLI Lift na maszynie z systemem Linux. Po zainstalowaniu interfejsu CLI Lift na maszynie z systemem Linux wyodrębnianie danych ze źródeł PureData System for Analytics odbywa się z wykorzystaniem szybkich mechanizmów wyjmowania danych. Zainstaluj interfejs CLI Lift w systemie Linux, aby osiągać znacznie większą ogólną przepustowość, gdy rolę źródła odgrywa baza PureData System for Analytics.

Gdzie zainstalować interfejs CLI Lift, by uzyskać najlepszą przepustowość podczas korzystania z IBM Db2 for Linux UNIX and Windows jako źródła?

Zdecydowanie zalecamy instalację interfejsu CLI Lift na maszynie z systemem Linux z instalacją klienta Db2. Instalacja interfejsu CLI Lift na maszynie z systemem Linux i klientem Db2 pozwoli znacznie zwiększyć ogólną przepustowość. Jeśli interfejs CLI Lift nie wykryje klienta Db2, zostanie zastosowana inna strategia wyodrębniania, która może przełożyć się na niższą przepustowość wyodrębniania. Jeśli na maszynie, w której zainstalowano interfejs CLI Lift, nie jest dostępny klient Db2, w konsoli pojawi się komunikat „Lift is extracting data at sub-light speeds. You can improve extraction time by installing and configuring the Db2 client. For more information, visit http://ibm.biz/BdZcFp” (odsyłacz prowadzi poza serwis IBM). Oznacza ona, że rozwiązanie Lift wyodrębnia dane z nieoptymalną szybkością i że w celu skrócenia czasu wyodrębniania należy zainstalować i skonfigurować klienta Db2. Dodatkowe informacje można uzyskać, klikając wskazany odsyłacz.

Jakie wymagania dotyczące klienta Db2 należy spełnić, aby szybciej wyodrębniać dane z serwera IBM Db2 for Linux, UNIX and Windows?

Wymagania wstępne dla interfejsu CLI Lift dotyczące użycia klienta Db2:

1. Komenda db2 (w systemie Linux) lub db2cmd (w systemie Windows) musi być dostępna w zmiennej środowiskowej PATH.

  • Linux: przed uruchomieniem interfejsu CLI Lift należy zastosować w środowisku właściwość <INSTANCE_OWNER_HOME>/sqllib/db2profile
  • Windows: klient Db2 musi być skonfigurowany jako instancja domyślna

2. Użytkownik systemu operacyjnego musi należeć do grupy SYSADM instancji klienta Db2, jeśli interfejs CLI Lift jest uruchamiany zdalnie z poziomu serwera IBM Db2 for Linux, UNIX and Windows.

3. Wersja klienta Db2 musi być taka sama lub jak wersja serwera IBM Db2 for Linux, UNIX and Windows lub wyższa.

Czy ze źródłowej bazy danych Db2 mogę przenosić tabele z ukrytymi kolumnami?

Tak. Interfejs CLI Lift umożliwia wyodrębnianie ukrytych kolumn. Domyślnie wyodrębniony plik CSV nie zawiera ukrytych kolumn. Aby wyodrębniony plik zawierał ukryte kolumny, możesz wskazać wszystkie nazwy kolumn wraz z nazwali ukrytych kolumn przy użyciu opcji wybierania kolumn. Więcej informacji na temat opcji wybierania kolumn uzyskasz przy użyciu komendy „lift extract –help”.

Jakie wymagania dotyczące klienta Oracle należy spełnić, aby szybciej wyodrębniać dane z serwera Oracle Server?

Wymagania wstępne dla interfejsu CLI Lift dotyczące użycia klienta Oracle są następujące:

1. Zainstaluj moduły wstępny i narzędzi klienta Oracle.

2. Upewnij się, że ścieżka programu exp jest dodana do zmiennej środowiskowej PATH.

3. W zależności od środowiska może istnieć konieczność dodania ścieżki biblioteki klienta Oracle do ścieżki biblioteki systemu operacyjnego (na przykład LD_LIBRARY_PATH).

4. Wersja klienta Oracle musi być taka sama jak wersja serwera Oracle lub nowsza.

Uwaga: Nie musisz wstępnie konfigurować połączenia źródłowej bazy danych z poziomu klienta Oracle.

Czy mogę przenosić tabele, które zawierają znaki wielobajtowe?

Tak. Interfejs CLI Lift wykorzystuje kodowanie UTF-8 i umożliwia konwersję danych z najczęściej używanych zestawów znaków Oracle.

Oto lista obsługiwanych zestawów znaków bazy danych Oracle (NLS_CHARACTERSET):

AL32UTF8, AR8ISO8859P6, AR8MSWIN1256, BLT8ISO8859P13, BLT8MSWIN1257, CL8ISO8859P5, CL8MSWIN1251, EE8ISO8859P2, EE8MSWIN1250, EL8ISO8859P7, EL8MSWIN1253, IW8ISO8859P8, IW8MSWIN1255, JA16EUC, JA16EUCTILDE, JA16SJIS, JA16SJISTILDE, KO16MSWIN949, NEE8ISO8859P4, TH8TISASCII, TR8MSWIN1254, VN8MSWIN1258, WE8ISO8859P15, WE8ISO8859P9, WE8MSWIN1252, ZHS16GBK, ZHT16HKSCS, ZHT16MSWIN950, ZHT32EUC, ALE16UTF16

Aby ustalić zestaw znaków źródłowej bazy danych Oracle, użyj następującej instrukcji SQL:

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

Na maszynie z interfejsem CLI Lift znajduje się skonfigurowany klient Oracle, a jednak interfejs CLI Lift wyświetla komunikat podobny do następującego: „Lift is extracting data at sub-light speeds. The source table contains data types that reduce the speed at which Lift can extract data”, informujący, że rozwiązanie Lift wyodrębnia dane z nieoptymalną szybkością i że tabela źródłowa zawiera typy danych ograniczające prędkość wyodrębniania danych. Dlaczego nie mogę wyodrębniać danych z wyższą szybkością?

Interfejs CLI Lift działa wolniej, jeśli tabela źródłowa zawiera którykolwiek z poniższych typów danych:

BINARY_FLOAT, BINARY_DOUBLE, LOB, BLOB, CLOB, BFILE, XML, ROWID, UROWID

Każda tabela jest ewaluowana osobno. Wolniejsze działanie dotyczy tylko bieżącej operacji wyodrębniania tabeli i jest spowodowane występowaniem określonych typów plików.

Czy do korzystania z interfejsu CLI Lift wymagana jest konfiguracja narzędzi Microsoft SQL Server Tools?

Nie. Interfejs CLI Lift nie wymaga żadnej dodatkowej konfiguracji narzędzi do migracji danych.

Zacznij korzystać z IBM Lift

W kilka minut dowiesz się, jak przeprowadzić migrację danych.