Como a CLI do Lift migra meus dados para o IBM Db2 Warehouse on Cloud?

Para migrar os dados do banco de dados IBM PureData System for Analytics (Netezza), primeiro é necessário extrair localmente uma tabela de banco de dados como um arquivo CSV usando o "lift extract". Em seguida, esse arquivo deve ser transferido para a zona de recebimento do IBM Db2 Warehouse on Cloud usando o "lift put". Essa zona é um volume pré-alocado que é usado para a edição e o carregamento de dados. Por fim, o arquivo de dados CSV transferido por upload deve ser carregado no mecanismo usando o "lift load". Após a conclusão desse procedimento, é possível excluir o arquivo de dados usando o "lift rm".

Se você estiver migrando um conjunto de arquivos CSV, seguirá etapas semelhantes às anteriores. Comece transferindo seus arquivos de dados CSV para a zona de recebimento do Db2 Warehouse on Cloud usando o "lift put". Essa zona é um volume pré-alocado que é usado para a edição e o carregamento de dados. Por fim, o arquivo de dados CSV transferido por upload deve ser carregado no mecanismo usando o "lift load". Após a conclusão desse procedimento, é possível excluir o arquivo de dados usando o "lift rm".

Há um tamanho máximo para a migração de um banco de dados?

Não, é possível migrar bancos de dados de qualquer tamanho. No entanto, lembre-se de que a duração da migração de seu banco de dados dependerá da velocidade de conexão de sua rede, do volume de dados não compactados a serem movidos e dos perfis de hardware dos seus computadores de origem e destino. Em outras palavras, a duração pode variar.

Quais artefatos de banco de dados podem ser migrados?

A CLI do Lift migra suas tabelas ou arquivos CSV para um destino de dados da IBM Cloud. Se for necessário migrar outros artefatos de banco de dados, como tabelas, visualizações e procedimentos armazenados, use o IBM Database Conversion Workbench.

Onde o pacote da CLI deve ser instalado para obter melhor desempenho?

Recomendamos instalar e executar a CLI em uma máquina que seja próxima, no que diz respeito à rede (mínima latência), de sua origem de banco de dados. Isso garantirá que seus dados sejam extraídos e preparados mais rapidamente em seu ambiente local, melhorando o tempo geral de migração de dados como um todo.

Quais portas de rede devem ser abertas em meu sistema local?

As portas a seguir devem ser abertas na máquina que está executando a CLI do Lift:

PropósitoProtocoloDireçãoDestinoPorta
Transferência do AsperaTCP OUTBOUNDINTERNET33001*
Transferência do AsperaUDP OUTBOUNDINTERNET33001*
JDBC protegido por SSL do Db2 Warehouse on CloudTCP OUTBOUNDINTERNET50001
API de REST de carregamento do DB2 Warehouse on CloudTCP OUTBOUNDINTERNET8443
Serviços principais do LiftTCP OUTBOUNDINTERNET443

 

*Um tráfego de retorno será recebido quando a conexão OUTBOUND for iniciada pela CLI do Lift com o cluster do Db2 Warehouse on Cloud na porta 33001. A porta local, que estará no intervalo de portas efêmeras, será escolhida aleatoriamente pelo sistema operacional. Como todos os firewalls modernos são stateful (ou contêm reconhecimento de conexão ou estado), não deve haver necessidade de abrir quaisquer portas INBOUND.  

Quais são os requisitos de armazenamento local para extrair meus dados?

Para o Linux e o MacOS, o armazenamento mínimo deve ser maior ou igual à representação em disco de sua maior tabela (descompactada).

Para o Windows, o armazenamento mínimo deve ser duas vezes maior ou igual à representação em disco de sua maior tabela (descompactada).

E se não houver espaço suficiente em disco na zona de recebimento do Db2 Warehouse on Cloud for Analytics para a minha maior tabela?

É possível executar o "lift df" para verificar se há espaço disponível em disco na zona de recebimento do Db2 Warehouse on Cloud for Analytics. É possível liberar espaço executando o "lift rm". Se isso não solucionar o problema, divida sua tabela em diversas partes de arquivo e faça upload deles individualmente usando a opção "lift extract –size".

A velocidade do Lift é incrível, mas é possível desacelerar meu upload quando estou em uma rede com largura de banda limitada?

Claro. É possível usar a opção "lift put --max-throughput" para limitar o rendimento usado pela transferência de dados.

Não quero continuar digitando minhas credenciais de banco de dados e outras opções comuns. É possível configurá-las como variáveis de ambiente ou armazená-las em algum lugar para referência?

Sim. É possível configurar as credenciais de conexão como variáveis de ambiente. Também é possível criar um arquivo de propriedades e colocar suas credenciais de banco de dados e opções comuns nele. Confira "lift help <command" para ver uma lista de opções suportadas pela CLI do Lift.

É possível usar a CLI do IBM Lift para dados regulamentados pela HIPAA?

A CLI do IBM Lift poderá ser usada para processar Informações de Saúde Protegidas que são regulamentadas pela HIPAA se o Cliente, como controlador de dados, determinar que as medidas de segurança técnicas e organizacionais são adequadas aos riscos apresentados pelo processamento e pela natureza dos dados a serem protegidos. A CLI do IBM Lift não foi projetada para processar dados aos quais se aplicam requisitos regulamentares adicionais.

Como configurar a CLI do Lift para trabalhar com um proxy HTTP?

Um arquivo de configuração de ambiente chamado lift.environment, localizado no diretório bin de instalação da CLI do Lift (<Lift CLI install dir>/bin), pode ser criado com o conteúdo a seguir para incluir uma configuração de proxy HTTP:

Para o host do proxy, use proxy.host =<hostname>. Para a porta do proxy, use proxy.port =<port number>. Ambos devem ser especificados para que as configurações entrem em vigor. Se o proxy requerer autenticação, a CLI do Lift usará a autenticação básica na solicitação CONNECT fornecendo proxy.user =<user> e proxy.password =<password>. Ambos devem ser especificados para que as configurações de autenticação entrem em vigor.

Exemplo de conteúdos de <Lift CLI install dir>/bin/lift.environment (cada propriedade está em uma nova linha):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

Como incluir um novo certificado X509 na lista de certificados confiáveis para a CLI do Lift?

Um arquivo de propriedades de ambiente chamado lift.environment, localizado no diretório bin de instalação da CLI do Lift (<Lift CLI install dir>/bin), pode ser criado com o conteúdo a seguir para incluir um certificado X509 a ser importado para o armazenamento confiável.

Para o host do proxy, use o caminho completo de proxy.certificate.path =< para o arquivo de certificado X509>.

O certificado é incluído com o alias ibm-lift-imported-proxy-cert. Se o alias já existir, o arquivo não será importado e deverá ser removido manualmente antes da nova execução da CLI. É possível remover o certificado usando a keytool Java no armazenamento confiável Java da CLI do Lift em <Lift CLI install dir>/jre/lib/security/cacerts (ou seja, keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit).

A CLI do Lift pode ser instalada diretamente no PureData System for Analytics?

Sim, a CLI do Lift pode ser instalada no PureData System for Analytics, mas o armazenamento adicional deve ser conectado para fornecer aos dados extraídos espaço temporário suficiente em disco.

Quais são as melhores práticas para conectar e configurar um armazenamento adicional para o PureData System for Analytics?

As notas técnicas a seguir fornecem etapas para montar sistemas SAN/NFS no PureData Systems for Analytics. Elas também incluem melhores práticas para conectar e configurar um armazenamento adicional para o PureData System for Analytics.

1. Incluindo o armazenamento SAN no PureData Systems for Analytics: http://www.ibm.com/support/docview.wss?uid=swg21700900

2. IBM PureData System for Analytics Mounting NFS no dispositivo: http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. Montando um sistema de arquivos NFS nos sistemas PureData for Analytics: http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

Em qual parte do sistema local devo instalar a CLI do Lift ao usar as origens do IBM PureData System for Analytics?

Instale a CLI do Lift para origens do PureData System for Analytics em seu sistema de "injeção" (aquele usado para preparar dados para o carregamento no banco de dados do PureData System for Analytics). Esse sistema terá boa conectividade com o PureData System for Analytics e muito espaço em disco para a preparação dos dados. No entanto, se seu sistema de injeção já estiver totalmente carregado, instale a CLI do Lift em um sistema semelhante que esteja conectado de forma parecida e tenha espaço temporário significativo em disco.

Onde devo instalar a CLI do Lift para obter o melhor rendimento ao usar o IBM PureData System for Analytics como a minha origem?

Recomendamos fortemente a instalação da CLI do Lift em uma máquina Linux. Quando sua CLI do Lift é instalada em uma máquina Linux, a extração de dados de origens do PureData System for Analytics é feita com recursos de descarga de alta velocidade. Instale sua CLI do Lift no Linux para obter um rendimento geral significativamente melhor quando sua origem for o PureData System for Analytics.

Onde devo instalar a CLI do Lift para obter o melhor rendimento ao usar o IBM Db2 for Linux UNIX and Windows como origem?

Recomendamos fortemente a instalação da CLI do Lift em uma máquina Linux com a instalação do cliente DB2. Instalar a CLI do Lift em sua máquina Linux com um cliente DB2 melhora significativamente o rendimento geral. Quando a CLI do Lift falha em detectar o cliente DB2, uma estratégia de extração diferente é usada e é possível notar uma redução no rendimento de extração. No console, uma mensagem "O Lift está extraindo dados em velocidades extremamente rápidas. É possível melhorar o tempo de extração instalando e configurando o cliente DB2. Para obter informações adicionais, visite http://ibm.biz/BdZcFp" (link externo à IBM) é impressa quando o cliente DB2 não está disponível em sua máquina na qual a CLI do Lift está instalada.

Quais são os requisitos do cliente DB2 para extrair meus dados do IBM Db2 for Linux, UNIX and Windows com melhor desempenho?

Pré-requisitos para que a CLI do Lift use o cliente DB2:

1. O comando db2 (para Linux) ou db2cmd (para Windows) deve estar disponível em PATH.

  • Linux: <INSTANCE_OWNER_HOME>/sqllib/db2profile tem de ser aplicado ao ambiente antes da execução da CLI do Lift
  • Windows: O cliente DB2 tem de ser configurado como a instância padrão

2. O usuário do sistema operacional a ser incluído no grupo SYSADM da instância do cliente DB2 quando a CLI do Lift é executada remotamente no servidor do IBM Db2 for Linux UNIX and Windows.

3. A versão do cliente DB2 deve ser igual ou mais recente do que a versão do servidor IBM Db2 for Linux UNIX and Windows.

É possível migrar tabelas com colunas ocultas de um banco de dados de origem do DB2?

Sim. A extração de colunas ocultas é suportada pela CLI do Lift. Por padrão, as colunas ocultas não são incluídas no arquivo CSV extraído. Para incluí-las, especifique explicitamente todos os nomes de coluna, além dos nomes das colunas ocultas, usando a opção de seleção de coluna. Consulte "lift extract –help" para obter informações adicionais sobre a opção de seleção de coluna.

Quais são os requisitos do cliente Oracle para a extração de dados de um servidor Oracle com melhor desempenho?

Veja a seguir os pré-requisitos para que a CLI do Lift use o cliente Oracle:

1. Instale os módulos básicos e de ferramentas do cliente Oracle.

2. Certifique-se de que o caminho do programa exportado seja incluído na variável de ambiente PATH.

3. Dependendo de seu ambiente, pode ser necessário incluir o caminho da biblioteca do cliente Oracle no caminho da biblioteca do sistema operacional (por exemplo, LD_LIBRARY_PATH).

4. A versão do cliente Oracle deve ser igual ou mais recente do que a versão do servidor Oracle.

Nota: Não é necessário pré-configurar a conexão com o banco de dados de origem do cliente Oracle.

É possível migrar uma tabela com caracteres internacionais que incluem um conjunto de caracteres multibyte?

Sim. A CLI do Lift usa uma página de códigos UTF-8 e suporta a conversão de dados dos conjuntos de caracteres Oracle comumente usados.

Veja a seguir uma lista de conjuntos de caracteres do banco de dados Oracle suportados (NLS_CHARACTERSET):

AL32UTF8, AR8ISO8859P6, AR8MSWIN1256, BLT8ISO8859P13, BLT8MSWIN1257, CL8ISO8859P5, CL8MSWIN1251, EE8ISO8859P2, EE8MSWIN1250, EL8ISO8859P7, EL8MSWIN1253, IW8ISO8859P8, IW8MSWIN1255, JA16EUC, JA16EUCTILDE, JA16SJIS, JA16SJISTILDE, KO16MSWIN949, NEE8ISO8859P4, TH8TISASCII, TR8MSWIN1254, VN8MSWIN1258, WE8ISO8859P15, WE8ISO8859P9, WE8MSWIN1252, ZHS16GBK, ZHT16HKSCS, ZHT16MSWIN950, ZHT32EUC, ALE16UTF16

É possível determinar o conjunto de caracteres do banco de dados Oracle de origem usando a consulta SQL a seguir:

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

O cliente Oracle está configurado na máquina da CLI do Lift, mas a CLI do Lift exibe uma mensagem como a seguinte: "O Lift está extraindo dados em velocidades extremamente rápidas. A tabela de origem contém tipos de dados que reduzem a velocidade na qual o Lift pode extrair os dados". Por que não é possível extrair os dados em velocidades mais rápidas?

A CLI do Lift usa um modo decomposto quando a tabela de origem tem qualquer um dos tipos de dados a seguir:

BINARY_FLOAT, BINARY_DOUBLE, LOB, BLOB, CLOB, BFILE, XML, ROWID, UROWID

Cada tabela é avaliada separadamente. Esse modo decomposto afeta somente a operação de extração da tabela atual devido à presença dos tipos de dados afetados.

É necessário configurar o Microsoft SQL Server Tools ou o cliente para usar a CLI do Lift?

Não. A CLI do Lift não precisa de nenhuma outra configuração adicional de ferramentas para a migração de dados.

Comece a usar o IBM Lift

Comece a usar a migração de dados em minutos.