Utilización de una aplicación de movimiento de datos de terceros para gestionar datos

Introducción al movimiento de datos con IBM Data Cataloging.

Antes de empezar

La aplicación de terceros debe estar registrada en IBM Data Cataloging.
IBM La catalogación de datos debe escanear tanto las fuentes de datos de origen como las de destino antes del movimiento de datos.
La aplicación debe estar configurada para acceder a los mismos orígenes de datos de origen y destino.

Puede ver la documentación de la aplicación de terceros para obtener más detalles.

Acerca de esta tarea

Las capacidades de IBM Data Cataloging se pueden ampliar mediante aplicaciones; por ejemplo, se pueden utilizar aplicaciones de transferencia de datos para mover datos entre orígenes de datos, basándose en la información de IBM Data Cataloging. Las aplicaciones se registran en IBM Data Cataloging proporcionando detalles de las operaciones que soportan y los parámetros que necesitan para cumplir la operación.

La tabla siguiente lista las operaciones de movimiento de datos soportadas:

Tabla 1. operaciones de movimiento de datos
Operación	Tipo de origen	Tipo de destino
MOVE	NFS S3 SOCQ SMB/CIFS	NFS S3 SOCQ SMB/CIFS
COPIA	NFS S3 SOCQ SMB/CIFS	NFS S3 SOCQ SMB/CIFS
NIVEL	NFS S3 SOCQ SMB/CIFS	NFS S3 SOCQ SMB/CIFS

Nota:

Por ahora, no es posible que una aplicación registre nuevas operaciones más allá de los registros listados en la tabla Operaciones de movimiento de datos.

Puede crear políticas de movimiento de datos que identifiquen archivos y objetos que sean candidatos para operaciones de datos, utilizando aplicaciones de movimiento de datos registradas. El motor de políticas de catalogación de datos de IBM genera mensajes de solicitud de trabajo en formato JSON. Contiene un lote de archivos u objetos con la información de origen y destino, y cualquier opción adicional como, por ejemplo, conservar las indicaciones de fecha y hora del sistema de origen.

Los mensajes de solicitud de trabajo se colocan en un tema de salida Kafka . La aplicación de movimiento de datos lee los mensajes del tema y realiza la operación de movimiento de datos necesaria, y proporciona mensajes de respuesta en formato JSON en un tema de entrada Kafka .

IBM La catalogación de datos puede interactuar con aplicaciones de movimiento de datos de terceros para mover, copiar o jerarquizar datos entre fuentes de datos. Cree políticas de gestión de datos en IBM Data Cataloging, y especifique el conjunto de documentos a procesar mediante un filtro de políticas. El filtro de políticas puede basarse en los metadatos del sistema o en los metadatos personalizados de los documentos recopilados por IBM Data Cataloging.

La aplicación de terceros se registra en IBM Data Cataloging proporcionando las operaciones que soporta (mover, copiar o nivelar). Para cada operación, proporciona la lista de valores de parámetro que necesita para realizar la operación.

Al crear la política de gestión de datos en IBM Data Cataloging, el usuario define el filtro, los valores de los parámetros y cuándo debe ejecutarse la política. Cuando se ejecuta la política, IBM Data Cataloging envía la lista de archivos a la aplicación de movimiento de datos y cualquier parámetro adicional. La aplicación procesa los archivos y devuelve un resumen de estado a IBM Data Cataloging. El resumen se muestra al usuario.

Nota:

Durante la migración de datos, los archivos migrados deben conservar las etiquetas de catalogación de datos de IBM. Puede seguir un procedimiento manual para conservar las etiquetas. Para obtener más información, consulte Conservación de etiquetas durante el movimiento de datos.

Una aplicación de movimiento de datos de terceros puede registrar un esquema, definiendo los parámetros que necesita para el movimiento de datos. Debe establecer estos parámetros en la interfaz de usuario (UI) de la aplicación al crear la política. Los parámetros no válidos provocan un error al enviar una política.

Sin embargo, en pocos casos, debido a la complejidad del esquema, el error puede no apuntar a la ubicación precisa del problema o puede indicar que un parámetro válido no es válido. Por lo tanto, cuando se produce un error al enviar una política, y no está definido dónde está el problema, se recomienda que compruebe todos los parámetros de política.

Procedimiento

Inicie sesión en la GUI de catalogación de datos IBM.
Vaya a Admin > Políticas de gestión.
Para crear una política, pulse Añadir política.
Pulse el control deslizante y establezca el estado en uno de los valores siguientes:

Activo

Una política activa se ejecuta siempre que se alcanza su suceso de planificación.

Inactivo

Una política inactiva no se ejecuta incluso cuando se alcanza su suceso de planificación (incluido un suceso NOW).
Especifique un nombre de política.
Especifique un filtro de política.
El filtro de política incluye los criterios para seleccionar los archivos para mover o copiar. Por ejemplo, filetype="pdf" selecciona todos los archivos de tipo PDF.
Nota:
- IBM La catalogación de datos realiza un seguimiento del último estado de migración conocido de cada archivo en la faceta "ESTADO". Esto se puede aprovechar al definir políticas de movimiento de datos para destinar o evitar archivos en un estado determinado. Los valores siguientes representan el estado del archivo:
  
  migrtd (migrado)
  
  El contenido del archivo sólo está presente en el sistema de destino, pero existe un archivo de resguardo en el origen.
  
  resdnt (residente)
  
  El contenido del archivo sólo está presente en el sistema de origen.
- A continuación se muestran los escenarios en los que es útil filtrar el estado de archivo por faceta 'STATE':
  - En una política TIER donde los archivos que ya se han migrado no se deben volver a migrar.
  - En una política COPY donde los archivos que se migran no se deben copiar, ya que esto daría como resultado una recuperación de los datos.
  - En una política TIER en la que algunos archivos se están recuperando como preparación para una carga de trabajo. No es necesario recuperar los archivos que ya son residentes.
- Para los archivos de destino que son residentes, simplemente añada "state = 'resdnt '" a los criterios de filtro. Para los archivos de destino que NO son residentes, simplemente añada "state < > 'resdnt'" a los criterios de filtro.
Para seleccionar el tipo de política, pulse Paso siguiente.
Seleccione MOVE, COPYo TIER como tipo de política.
Seleccione el nombre de agente como Agente.
Especifique los parámetros restantes. Los parámetros que se muestran dependen de la aplicación, y estos parámetros pueden incluir:

Tipo de conexión de origen

Indica el tipo de conexión en la que residen actualmente los archivos.

Conexión de origen

Indica el nombre de la conexión en la que residen actualmente los archivos.

Tipo de conexión de destino

Indica el tipo de conexión a la que se están moviendo o copiando los archivos.

Conexión de destino

Indica el nombre del nombre de conexión que los archivos se están moviendo o copiando.

Forzar migración

Indica si se debe forzar la desmigración o recuperación del archivo en la ubicación de origen cuando se migra a otra ubicación antes de realizar la operación.

Sobrescribir

Indica qué valor se debe proporcionar cuando existe un archivo en el destino.

Conservar atributos, indicación de fecha y hora o permisos

Indica los parámetros para controlar si se conservan los metadatos de los archivos.
Para especificar una planificación, seleccione Paso siguiente.
La planificación indica cuándo desea iniciar el traslado de la copia.
Para revisar la política, seleccione Paso siguiente.
Para crear la política, seleccione Enviar. La política se ejecuta a la hora planificada.
Cuando la política se ejecuta o completa un resumen de estado de ejecución, visualice la política pulsando Vista previa de política.