¿Cómo migra la CLI de Lift mis datos a IBM Db2 Warehouse on Cloud?

Si está migrando datos de la base de datos de IBM PureData System for Analytics (Netezza), primero debe extraer localmente una tabla de base de datos a un archivo CSV utilizando "lift extract". A continuación, transferirá el archivo de datos CSV a la zona de destino de IBM Db2 Warehouse on Cloud utilizando "lift put". La zona de destino de IBM Db2 Warehouse on Cloud es un volumen preasignado utilizado para la carga y tránsito de datos. Por último, cargará el archivo de datos CSV cargado al motor utilizando "lift load". Una vez completada la carga, puede eliminar el archivo de datos utilizando "lift rm".

Si está migrando un conjunto de archivos CSV, seguirá un conjunto de pasos similar al anterior. Empezará con la transferencia de sus archivos de datos CSV a la zona de destino de Db2 Warehouse on Cloud utilizando "lift put". La zona de destino de Db2 Warehouse on Cloud es un volumen preasignado utilizado para la carga y tránsito de datos. Por último, cargará el archivo de datos CSV cargado al motor utilizando "lift load". Una vez completada la carga, puede eliminar el archivo de datos utilizando "lift rm".

¿Hay un tamaño máximo de base de datos que pueda migrar?

No, puede migrar bases de datos de cualquier tamaño. Pero tenga en cuenta que la duración de la migración de la base de datos depende de la velocidad de conexión de la red, del volumen de datos no comprimidos que necesita mover y de los perfiles de hardware de los sistemas de origen y destino. En otras palabras, el kilometraje puede variar.

¿Qué artefactos de base de datos puedo migrar?

La CLI de Lift migra sus tablas o archivos CSV a un destino de datos de IBM Cloud. Si necesita migrar otros artefactos de base de datos, como tablas, vistas, procedimientos almacenados, utilice IBM Database Conversion Workbench.

¿Dónde debo instalar mi paquete de CLI para obtener el mejor rendimiento?

Le recomendamos que instale y ejecute la CLI desde una máquina que tenga la red cerca (latencia mínima) del origen de la base de datos. Esto garantizará la extracción y organización más rápida de sus datos en el entorno local, con lo cual se mejora el tiempo de migración global de datos de extremo a extremo.

¿Qué puertos de red deben estar abiertos en mi sistema local?

Deben abrirse los siguientes puertos en la máquina que ejecuta la CLI de Lift:

ObjetivosProtocoloDirecciónDestinoPuerto
Transferencia de AsperaTCPSALIDAINTERNET33001*
Transferencia de AsperaUDPSALIDAINTERNET33001*
Db2 Warehouse on Cloud SSL- JDBC seguroTCPSALIDAINTERNET50001
API de carga REST de Db2 Warehouse on CloudTCPSALIDAINTERNET8443
Servicios básicos de LiftTCPSALIDAINTERNET443

 

*Habrá tráfico devuelto entrante cuando la conexión de SALIDA se haya iniciado mediante la CLI de Lift hacia el clúster de Db2 Warehouse on Cloud en el puerto 33001. El puerto local, que será uno en el rango de puertos efímeros, será elegido al azar por el sistema operativo. Todos los cortafuegos modernos son con estado (o con reconocimiento de conexión o de estado), y se espera que no sea necesario abrir ningún puerto de ENTRADA. 

¿Cuáles son los requisitos de almacenamiento en local para extraer mis datos?

Para Linux y MacOS, el almacenamiento mínimo debe ser mayor o igual que la representación en disco de la tabla más grande (sin comprimir).

Para Windows, el almacenamiento mínimo debe ser el doble o igual que la representación en disco de la tabla más grande (sin comprimir).

¿Qué pasa si no hay suficiente espacio de disco en la zona de destino de Db2 Warehouse on Cloud for Analytics para que se ajuste a mi tabla más grande?

Puede ejecutar "lift df" para comprobar el espacio de disco disponible en la zona de destino de Db2 Warehouse on Cloud for Analytics. Puede liberar espacio ejecutando "lever rm". Si todavía no tiene suficiente espacio, puede dividir su tabla en varios fragmentos de archivos y subir los que utilizan individualmente la opción "lift extract -size".

Me encanta que Lift sea tan rápido, pero ¿puedo ralentizar mi carga si estoy en una red con ancho de banda limitado?

De nada. Puede utilizar la opción "lift put -- max-throughput" para limitar el rendimiento utilizado por la transferencia de datos.

No quiero seguir escribiendo mis credenciales de base de datos y otras opciones comunes. ¿Puedo establecerlas como variables de entorno o almacenarlas en un lugar de referencia?

Sí. Puede establecer credenciales de conexión como variables de entorno. También puede crear un archivo de propiedades y colocar allí sus credenciales de base de datos y opciones comunes. Eche un vistazo a "lift help <command" para ver una lista de las opciones que admite la CLI de Lift.

¿Puedo utilizar la CLI de IBM Lift para datos regulados con HIPAA?

La CLI de IBM Lift puede utilizarse para procesar información médica protegida, regulada por HIPAA, si el cliente, como responsable del tratamiento de datos, determina que las medidas de seguridad técnicas y organizativas son adecuadas a los riesgos que presenta el procesamiento y la naturaleza de los datos que se van a proteger. La CLI de IBM Lift no está diseñada para procesar datos a los que se aplican requisitos normativos adicionales.

¿Cómo configuro Lift en CLI para trabajar con un proxy HTTP?

Se puede crear un archivo de configuración de entorno denominado lift.environment y ubicado en el directorio bin de instalación de la CLI de Lift (<Lift CLI install dir>/bin) con el siguiente contenido para añadir una configuración de proxy HTTP:

Para el host de proxy, utilice proxy.host =<nombre de host>. Para el puerto de proxy, utilice proxy.port =<número de puerto>. Ambos deben especificarse para que los valores se apliquen. Si el proxy requiere autenticación, la CLI de Lift utiliza la autenticación básica en la solicitud CONNECT proporcionando proxy.user =<usuario> y proxy.password =<contraseña>. Ambos deben especificarse para que los valores de autenticación se apliquen.

Ejemplo de contenido de <Lift CLI install dir>/bin/lift.environment (cada propiedad está en una nueva línea):

proxy.host =myproxy.host

proxy.port =3029

proxy.user =myproxyuser

proxy.password =proxypassword

¿Cómo puedo añadir un nuevo certificado de X509 a la lista de certificados de confianza para la CLI de Lift?

Se puede crear un archivo de propiedades de entorno denominado lift.environment y ubicado en el directorio bin de instalación de la CLI de Lift (<Lift CLI install dir>/bin) con el siguiente contenido para añadir un certificado de X509 que se va a importar al almacén de confianza.

Para el host de proxy, utilice proxy.certificate.path =<vía de acceso completa al archivo de certificado de X509>.

El certificado se añade con el alias ibm-lift-imported-proxy-cert. Si el alias ya existe, el archivo no se importa y se debe eliminar manualmente antes de volver a ejecutar la CLI. Puede eliminar el certificado utilizando la herramienta de claves Java en el almacén de confianza Java de la CLI de Lift en <Lift CLI install dir>/jre/lib/security/cacerts (por ejemplo, keytool -delete -alias ibm-lift-imported-proxy-cert -keystore <Lift CLI install dir>/jre/lib/security/cacerts -storepass changeit).

¿Se puede instalar la CLI de Lift directamente en PureData System for Analytics?

Sí, la CLI de Lift se puede instalar en PureData System for Analytics, pero se debe adjuntar almacenamiento adicional para proporcionar el suficiente espacio de disco de transferencia a los datos extraídos.

¿Cuáles son las mejores prácticas para conectar y configurar almacenamiento adicional para PureData System for Analytics?

Las siguientes notas técnicas describen pasos para montar sistemas SAN/NFS en PureData Systems for Analytics. También incluyen las mejores prácticas para conectar y configurar almacenamiento adicional para PureData System for Analytics.

1. Adición de almacenamiento SAN a PureData Systems for Analytics: http://www.ibm.com/support/docview.wss?uid=swg21700900

2. IBM PureData System for Analytics - Montaje de NFS en el dispositivo: http://www.ibm.com/support/docview.wss?qid=63d511603b6e6fb3a0216ea69fc0d500&uid=swg21568933

3. Montaje del sistema de archivos NFS en sistemas PureData for Analytics: http://www.ibm.com/support/docview.wss?qid=a9cf4df18f89517d8338b99a8743f522&uid=swg21971589

¿En qué parte de mi sistema local debo instalar la CLI de Lift si estoy utilizando orígenes de IBM PureData System for Analytics?

Cuando instale la CLI de Lift para orígenes de PureData System for Analytics, instale la CLI de Lift en el sistema de "inyección" (el sistema que utiliza para transferir datos para cargarlos en la base de datos de PureData System for Analytics). Este sistema tendrá una buena conectividad con PureData System for Analytics, así como mucho espacio de disco para los datos de transferencia. Sin embargo, si el sistema de inyección ya está completamente cargado, instale la CLI de Lift en un sistema similar que esté conectado de forma similar y con un espacio de disco de transferencia significativo.

¿Dónde debo instalar la CLI de Lift para obtener el mejor rendimiento si estoy utilizando IBM PureData System for Analytics como mi origen?

Le recomendamos que instale la CLI de Lift en una máquina Linux. Cuando la CLI de Lift está instalada en una máquina Linux, la extracción de datos de PureData System for Analytics se realiza con instalaciones de descarga de alta velocidad. Instale la CLI de Lift en Linux para obtener un rendimiento global significativamente superior cuando su origen sea PureData System for Analytics.

¿Dónde debo instalar la CLI de Lift para obtener el mejor rendimiento si estoy utilizando IBM Db2 for Linux UNIX and Windows como mi origen?

Le recomendamos que instale la CLI de Lift en una máquina Linux con la instalación del cliente de Db2. La instalación de la CLI de Lift en su máquina Linux con el cliente de Db2 mejora significativamente el rendimiento global. Cuando la CLI de Lift no detecta el cliente de Db2, se utiliza una estrategia de extracción diferente y quizá se reduzca el rendimiento de extracción. Un mensaje en la consola " Lift está extrayendo datos a velocidad subluz. Puede mejorar el tiempo de extracción instalando y configurando el cliente de Db2. Para obtener más información, visite http://ibm.biz/BdZcFp" (enlace externo a IBM) se imprime cuando el cliente de Db2 no está disponible en la máquina en la que está instalada la CLI de Lift.

¿Cuáles son los requisitos de cliente de Db2 para extraer mis datos de IBM Db2 for Linux UNIX and Windows con un mejor rendimiento?

Requisitos previos para que la CLI de Lift utilice el cliente de Db2:

1. El mandato db2 (para Linux) o db2cmd (para Windows) tiene que estar disponible en PATH.

  • Linux: <INSTANCE_OWNER_HOME>/sqllib/db2profile debe aplicarse al entorno antes de ejecutar la CLI de Lift
  • Windows: El cliente de Db2 se tiene que establecer como instancia predeterminada

2. El usuario del sistema operativo debe incluirse en el grupo SYSADM de la instancia del cliente de Db2 si la CLI de Lift se ejecuta de forma remota desde el servidor IBM Db2 for Linux UNIX and Windows.

3. La versión del cliente de Db2 tiene que ser igual o superior a la versión del servidor de IBM Db2 for Linux UNIX and Windows.

¿Puedo migrar tablas que tienen columnas ocultas desde una base de datos de origen de Db2?

Sí. La CLI de Lift admite la extracción de columnas ocultas. De forma predeterminada, las columnas ocultas no se incluyen en el archivo CSV extraído. Si desea incluir columnas ocultas en los datos extraídos, especifique explícitamente todos los nombres de columna junto con los nombres de columnas ocultas utilizando la opción de selección de columnas. Consulte "lift extract -help" para obtener más información sobre la opción de selección de columnas.

¿Cuáles son los requisitos del cliente de Oracle para extraer mis datos de un servidor Oracle con un mejor rendimiento?

Los siguientes son requisitos previos para que la CLI de Lift utilice el cliente de Oracle:

1. Instale los módulos básicos y de herramientas del cliente de Oracle.

2. Asegúrese de que la vía de acceso del programa exp se añade a la variable de entorno PATH.

3. En función del entorno, es posible que tenga que añadir la vía de acceso de la biblioteca del cliente de Oracle a la vía de acceso de la biblioteca del sistema operativo (por ejemplo, LD_LIBRARY_PATH).

4. La versión del cliente de Oracle debe ser igual o posterior a la versión del servidor de Oracle.

Nota: No es necesario que configure previamente la conexión de base de datos de origen desde el cliente de Oracle.

¿Puedo migrar una tabla que tenga caracteres internacionales que incluyan un juego de caracteres multibyte?

Sí. La CLI de Lift utiliza una página de códigos UTF-8 y da soporte a la conversión de datos de los conjuntos de caracteres de Oracle de uso más frecuente.

A continuación se muestra una lista de los conjuntos de caracteres de base de datos de Oracle soportados (NLS_CHARACTERSET):

AL32UTF8, AR8ISO8859P6, AR8MSWIN1256, BLT8ISO8859P13, BLT8MSWIN1257, CL8ISO8859P5, CL8MSWIN1251, EE8ISO8859P2, EE8MSWIN1250, EL8ISO8859P7, EL8MSWIN1253, IW8ISO8859P8, IW8MSWIN1255, JA16EUC, JA16EUCTILDE, JA16SJIS, JA16SJISTILDE, KO16MSWIN949, NEE8ISO8859P4, TH8TISASCII, TR8MSWIN1254, VN8MSWIN1258, WE8ISO8859P15, WE8ISO8859P9, WE8MSWIN1252, ZHS16GBK, ZHT16HKSCS, ZHT16MSWIN950, ZHT32EUC, ALE16UTF16

Puede determinar el juego de caracteres de la base de datos de Oracle de origen utilizando la siguiente consulta SQL:

SELECT PROPERTY_VALUE FROM DATABASE_PROPERTIES WHERE PROPERTY_NAME = 'NLS_CHARACTERSET';

El cliente de Oracle está configurado en la máquina de la CLI de Lift, pero la CLI de Lift muestra un mensaje como "Lift está extrayendo datos a velocidad subluz. La tabla de origen contiene tipos de datos que reducen la velocidad a la que Lift puede extraer datos." ¿Por qué no puedo extraer datos a más velocidad?

La CLI de Lift utiliza una modalidad degradada si la tabla de origen tiene cualquiera de los siguientes tipos de datos:

BINARY_FLOAT, BINARY_DOUBLE, LOB, BLOB, CLOB, BFILE, XML, ROWID, UROWID

Cada tabla se evalúa por separado. Esta modalidad degradada solo afecta a la operación de extracción de la tabla actual debido a la presencia de los tipos de datos afectados.

¿Necesito configurar Microsoft SQL Server Tools o el cliente para utilizar la CLI de Lift?

No. La CLI de Lift no necesita ninguna otra configuración adicional de herramientas para la migración de datos.

Empiece con IBM Lift

Empiece con la migración de datos en minutos.