O IBM Lift facilita a migração rápida, segura e confiável do seu banco de dados de data centers locais para uma propriedade de dados IBM Cloud®. Ele foi projetado para permitir a migração rápida e segura para a nuvem com downtime zero.
Leve todo o seu banco de dados para a IBM Cloud. É um processo de duas etapas: converter seu esquema e migrar seus dados. Para converter seu esquema, comece fazendo download do IBM Database Conversion Workbench. O workbench irá guiar você pelo processo de conversão do banco de dados de origem DDL para que ele seja compatível com o destino. O workbench trabalho também produzirá um relatório que informa onde é necessário agir. Quando o esquema estiver em vigor, você usará a CLI do Lift para migrar seus dados.
Comece gerando um conjunto de arquivos CSV que representam suas alterações incrementais, por tabela do banco de dados. Use a CLI do Lift para coletar esses arquivos delimitados, enviá-los pelo cabo e importar os arquivos para o IBM® Db2® Warehouse on Cloud. Coloque essas etapas em um script, configure um cron job, e você terá uma atualização incremental contínua do seu data warehouse.
Você pode usar a CLI do Lift para migrar dados de vários bancos de dados ou fontes de dados diferentes para um único cluster do IBM Db2 Warehouse on Cloud MPP. O Lift oferece a flexibilidade de pegar tabelas de várias fontes de dados e importá-las em um único esquema no IBM Db2 Warehouse on Cloud para que você possa desativar o cluster de banco de dados existente.
Seus clientes não ligam se você precisa fazer análises sobre o comportamento de compra deles. Eles só querem uma experiência de usuário rápida. Gire um data warehouse em nuvem, como o IBM Db2 Warehouse on Cloud, para executar análises em dados do seu armazenamento de dados transacionais. Mantenha seus relatórios e dashboards atualizados enviando pequenas quantidades de dados da fonte e tenha sempre uma visão atualizada do seu negócio.
O Lift usa o IBM Aspera® nos bastidores para mover dados para a nuvem em velocidades extremamente altas. A tecnologia de transporte patenteada do Aspera aproveita a infraestrutura WAN existente e o hardware de commodities para alcançar velocidades centenas de vezes mais altas do que FTP e HTTP.
Recupera-se automaticamente de problemas comuns que podem ocorrer durante a migração. Por exemplo, se o upload do arquivo for interrompido no meio da transferência, o Lift será retomado de onde você parou. Os uploads de arquivos são estáveis e robustos, mesmo nas redes mais restritas à largura de banda.
Ninguém quer ir parar na primeira página do jornal. Qualquer dado transferido pelo fio para a IBM Cloud é protegido por uma conexão criptografada de 256 bits.
Todas as migrações de dados são divididas em três etapas: extrair da fonte, transportar pelo fio e carregar no destino. Nossa CLI oferece a flexibilidade de executar essas três etapas separadas, de modo que a migração de dados funcione conforme a sua programação, e não o contrário.
Você instalará a CLI do Lift apenas uma vez em sua máquina local. Nos bastidores, a CLI trabalha com o Lift Core Services em execução na IBM Cloud para ajudar a levar seus dados para o armazenamento persistente da Watson Data Platform. Como qualquer outro aplicativo em nuvem, o Lift nunca exige atualizações. Novos recursos estão instantaneamente disponíveis, sem que você precise levantar um dedo.
Queremos que você experimente nossos serviços de dados em nuvem. O custo não será um problema.
Um banco de dados SQL em nuvem totalmente gerenciado. Implemente e dimensione com facilidade e sob demanda.
Agilize a ciência de dados com o IBM Integrated Analytics System. Uma plataforma de dados otimizada e pronta para a nuvem que conecta cientistas de dados aos dados.
IBM Lift: Perguntas Frequentes
Obtenha respostas para as perguntas mais comuns sobre este produto
Se estiver migrando dados do seu banco de dados IBM PureData System for Analytics (Netezza), primeiro você precisa extrair localmente uma tabela de banco de dados em um arquivo CSV usando “lift extract”. Em seguida, você transfere seu arquivo de dados CSV para a zona de destino do IBM Db2 Warehouse on Cloud usando “lift put”. A zona de destino do IBM Db2 Warehouse on Cloud é um volume pré-alocado usado para carregamento e gravação de dados. Por fim, você carrega o arquivo de dados CSV carregado no mecanismo usando "lift load". Quando a carga estiver concluída, você poderá excluir o arquivo de dados usando "lift rm".
Se estiver migrando um conjunto de arquivos CSV, você pode seguir um conjunto semelhante de etapas acima. Comece transferindo seus arquivos de dados CSV para a zona de destino do Db2 Warehouse on Cloud usando "lift put". A zona de aterrissagem do Db2 Warehouse on Cloud é um volume pré-alocado usado para carregamento e rascunho de dados. Por fim, você carrega o arquivo de dados CSV carregado no mecanismo usando "lift load". Quando a carga estiver concluída, você poderá excluir o arquivo de dados usando "lift rm".
Não, você pode migrar bancos de dados de qualquer tamanho. Mas lembre-se de que a duração da migração do banco de dados depende da velocidade da conexão de rede, do volume de dados não compactados que você precisa migrar e dos perfis de hardware dos computadores de origem e de destino. Em outras palavras, a quilometragem pode variar.
O Lift CLI migra suas tabelas ou arquivos CSV para um destino de dados da IBM Cloud. Se você precisar migrar outros artefatos de banco de dados, como tabelas, visualizações, procedimentos armazenados, use o IBM Database Conversion Workbench.
Recomendamos que você instale e execute a CLI em um computador que esteja próximo à rede (latência mínima) da origem do banco de dados. Isso garantirá que seus dados sejam extraídos e preparados mais rápido em seu ambiente local, melhorando o tempo geral de migração de dados de ponta a ponta.
As seguintes portas devem ser abertas na máquina que executa a CLI do Lift:
*Haverá tráfego de retorno de entrada quando a conexão OUTBOUND tiver sido iniciada pelo Lift CLI em direção ao cluster do Db2 Warehouse on Cloud na porta 33001. A porta local, que será uma na faixa de porta efêmera, será escolhida aleatoriamente pelo sistema operacional. Todos os firewalls modernos são stateful (ou com reconhecimento de conexão ou com reconhecimento de estado), e espera-se que não haja necessidade de abrir nenhuma porta INBOUND.
| Propósito | Protocolo | Direção | Destino | Porta |
|---|---|---|---|---|
| Transferência do Aspera | TCP | SAÍDA | INTERNET | 33001* |
| Transferência do Aspera | UDP | SAÍDA | Internet | 33001* |
| JDBC protegido por SSL do Db2 Warehouse on Cloud | TCP | SAÍDA | Internet | 50001 |
| API de carregamento REST do DB2 Warehouse on Cloud | TCP | SAÍDA | Internet | 8443 |
| Principais Serviços do Lift | TCP | SAÍDA | Internet | 443
|
Para Linux e MacOS, o armazenamento mínimo deve ser maior ou igual à representação em disco da sua maior tabela (descompactada).
Para Windows, o armazenamento mínimo deve ser 2 vezes maior ou igual à representação em disco da tabela maior (descompactada).
Você pode executar "lift df" para verificar o espaço em disco disponível na zona de destino do Db2 Warehouse on Cloud for Analytics. É possível liberar espaço executando "lift rm". Se ainda assim não tiver espaço suficiente, você poderá dividir a tabela em vários pedaços de arquivo e carregá-los individualmente usando a opção "lift extract-size".
Claro. Você pode usar a opção "lift put --max-throughput" para limitar a taxa de transferência utilizada pela transferência de dados.
Sim. Você pode definir credenciais de conexão como variáveis de ambiente. Você também pode criar um arquivo de propriedades e colocar suas credenciais do banco de dados e opções comuns lá. Dê uma olhada em “lift help <command“ para ver uma lista de opções que o Lift CLI permite.
O IBM Lift CLI pode ser usado para processar Informações de Saúde Protegidas regulamentadas pela HIPAA se o Cliente, como controlador de dados, determinar que as medidas de segurança técnicas e organizacionais são adequadas aos riscos apresentados pelo processamento e à natureza dos dados a serem protegidos. O IBM Lift CLI não foi projetado para processar dados aos quais se aplicam requisitos regulatórios adicionais.
Um arquivo de configuração de ambiente chamado lift.environment localizado no diretório da caixa de instalação do Lift CLI ( <Lift CLI install dir>/bin ) pode ser criado com o seguinte conteúdo para adicionar uma configuração de proxy HTTP:
Para o host do proxy, utilize proxy.host=<hostname>. Para a porta proxy, use proxy.port=<port número>. Ambos devem ser especificados para que as configurações entrem em vigor. Se o proxy exigir autenticação, a CLI do Lift usará a autenticação básica na solicitação CONNECT fornecendo proxy.user=<user> e proxy.password=<password> . Ambos devem ser especificados para que as configurações de autenticação entrem em vigor.
Exemplo de <Lift CLI install dir>/bin/lift.environment conteúdo (cada propriedade em uma nova linha):
proxy.host=myproxy.host
proxy.port=3029
proxy.user=myproxyuser
proxy.password=proxypassword
Um arquivo de propriedades de ambiente chamado lift.environment localizado no diretório bin de instalação da CLI do Lift ( <Lift CLI install dir>/bin ) pode ser criado com o seguinte conteúdo para adicionar um certificado X509 a ser importado para o armazenamento confiável.
Para o host proxy, use proxy.certificate.path=<fully caminho qualificado para o arquivo de certificado X509> .
O certificado é adicionado com alias ibm-lift-imported-proxy-cert. Se o alias já existir, o arquivo não será importado e deverá ser removido manualmente antes de executar a CLI novamente. Você pode remover o certificado usando a ferramenta de chave Java no armazenamento de confiança Lift CLI Java em <Lift CLI install dir>/jre/lib/security/cacerts (ou seja, keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit).
Sim, o Lift CLI pode ser instalado no PureData System for Analytics, mas é necessário anexar armazenamento adicional para fornecer aos dados extraídos espaço suficiente no disco de preparação.
As notas técnicas a seguir fornecem etapas para montar sistemas SAN/NFS no PureData Systems for Analytics. Elas também incluem as melhores práticas para anexar e configurar armazenamento adicional para o PureData System for Analytics.
1. Adicionar armazenamento SAN ao PureData System: http://www.ibm.com/support/docview.wss?uid=swg21700900
2. IBM PureData System for Analytics Mounting NFS no appliance: http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933
3. Montar o sistema de arquivos NFS no PureData para sistemas analíticos: http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589
Quando você estiver instalando a CLI do Lift para fontes do PureData System for Analytics, instale a CLI do Lift em seu sistema de "injeção" (o sistema que você usa para colocar os dados em estágio para carregar no banco de dados do PureData System for Analytics). Esse sistema terá boa conectividade com o PureData System for Analytics e terá muito espaço em disco para a preparação de dados. No entanto, se o seu sistema de injeção já estiver totalmente carregado, instale a CLI do Lift em um sistema semelhante conectado e com espaço significativo em disco de preparação.
É recomendável que você instale o Lift CLI em uma máquina Linux. Quando a CLI do Lift é instalada em uma máquina Linux, a extração de dados das fontes do PureData System for Analytics é feita com recursos de descarga de alta velocidade. Instale o Lift CLI no Linux para obter uma taxa de transferência geral significativamente melhor quando sua fonte for o PureData System for Analytics.
Recomendamos que você instale a CLI Lift numa máquina Linux com instalação cliente Db2. Instalar o Lift CLI em sua máquina Linux com o cliente Db2 melhora significativamente o rendimento geral. Quando a CLI do Lift não consegue detectar o cliente Db2, uma estratégia de extração diferente é usada, e será possível notar uma redução na taxa de transferência da extração. Uma mensagem no console "O Lift está extraindo dados em velocidades de sub-luz. Você pode melhorar o tempo de extração instalando e configurando o cliente Db2. Para mais informações, visite http://ibm.biz/BdZcFp" " (link fora da IBM) é impresso quando o cliente Db2 não está disponível em sua máquina onde o Lift CLI está instalado.
Pré-requisitos para o Lift CLI utilizar o cliente Db2:
O comando 1. db2 (para Linux) ou db2cmd (para Windows) deve estar disponível no PATH.
- Linux: <INSTANCE_OWNER_HOME>/sqllib/db2profile precisa ser aplicado ao ambiente antes de executar a CLI do Lift
- Windows: o cliente Db2 deve ser definido como instância padrão
2. O usuário do sistema operacional deve ser incluído no grupo SYSADM da instância do cliente Db2 se o Lift CLI for executado remotamente do IBM Db2 para Linux UNIX e Windows Server.
3. A versão do cliente Db2 deve ser igual ou superior à versão do IBM Db2 para servidor Linux UNIX e Windows.
Sim. A extração de colunas ocultas é permitida pelo Lift CLI. Por padrão, colunas ocultas não são incluídas no arquivo CSV extraído. Se você quiser incluir colunas ocultas nos dados extraídos, especifique explicitamente todos os nomes de coluna junto com nomes de coluna ocultos usando a opção de seleção de coluna. Consulte “lift extract —help” para obter mais informações sobre a opção de seleção de colunas.
A seguir estão os pré-requisitos para o Lift CLI usar o cliente Oracle:
1. Instale os módulos básicos e de ferramentas do cliente Oracle.
2. Certifique-se de que o caminho do programa de exp seja adicionado à variável de ambiente PATH.
3. Dependendo do seu ambiente, talvez seja necessário adicionar o caminho da biblioteca do cliente Oracle ao caminho da biblioteca do sistema operacional (por exemplo, LD_LIBRARY_PATH).
4. A versão do cliente Oracle deve ser igual ou posterior à versão do servidor Oracle.
Observação: você não precisa pré-configurar a conexão do banco de dados de origem a partir do cliente Oracle.
Sim. O Lift CLI usa uma página de código UTF-8 e permite a conversão de dados de conjuntos de caracteres Oracle comumente usados.
Veja a seguir uma lista de conjuntos de caracteres do banco de dados Oracle compatíveis (NLS_CHARACTERSET):
AL32UTF8, AR8ISO8859P6, AR8MSWIN1256, BLT8ISO8859P13, BLT8MSWIN1257, CL8ISO8859P5, CL8MSWIN1251, EE8ISO8859P2, EE8MSWIN1250, EL8ISO8859P7, EL8MSWIN1253, IW8ISO8859P8, IW8MSWIN1255, JA16EUC, JA16EUCTILDE, JA16SJIS, JA16SJISTILDE, KO16MSWIN949, NEE8ISO8859P4, TH8TISASCII, TR8MSWIN1254, VN8MSWIN1258, WE8ISO8859P15, WE8ISO8859P9
Você pode determinar o conjunto de caracteres do banco de dados Oracle de origem usando a seguinte consulta SQL:
SELECIONE PROPERTYTY_VALUE A PARTIR DE DATABASE_PROPERTIES ONDE PROPERTYTY_NAME = 'NLS_CHARACTERSET';
A CLI de lift utiliza um modo degradado se a tabela de origem tiver qualquer um dos seguintes tipos de dados:
BINARY_FLOAT, BINARY_DOUBLE, LOB, BLOB, CLOB, BFILE, XML, ROWID, UROWID
Cada tabela é avaliada separadamente. Esse modo degradado afeta apenas a operação de extração da tabela atual devido à presença dos tipos de dados afetados.
Não. A CLI de elevação não precisa de nenhuma configuração adicional de ferramentas para migração de dados.
Comece a migração de dados em minutos.