Creación de una configuración de extracción de datos ad hoc

Puede ajustar el proceso de extracción de datos para recuperar datos de la base de datos de copia de seguridad de producción para sus requisitos ad hoc.

Acerca de esta tarea

Si la consulta puede captar datos grandes y si no es posible refinar la consulta o si la paginación no funciona, puede utilizar el servicio de extracción de datos de forma ad hoc para recuperar los datos. Aunque esto realiza una extracción oculta de los datos de la tabla, no afecta al rendimiento del servidor de aplicaciones y de la base de datos.

Puede crear una configuración de extracción de datos ad hoc identificada por un TaskId para las tablas y columnas en función de sus requisitos, establecer una frecuencia alta para que no se llame automáticamente y establecer cuántos días de datos más antiguos según sea necesario. No debe crear otros criterios de agente para el agente de CoC Data Extract . En su lugar, se ejecutará con los mismos criterios de agente, que se configuran para las extracciones de datos regulares. Los datos extraídos se comprimen y se envían a la misma ubicación remota que se ha configurado para las extracciones de datos regulares.

Es preferible desencadenar las extracciones ad hoc cuando la extracción regular no se está ejecutando. Los cálculos de memoria se realizan teniendo en cuenta que sólo se ejecuta un servicio de extracción de datos en el servidor o JVM y, si no se proporciona un almacenamiento dinámico más grande, la tarea tarda más tiempo. Además, si también se están ejecutando extracciones regulares, debe hacer que la aplicación consumidora no recoja la extracción si el archivo comprimido o las tareas están pensadas para la extracción ad hoc.

Procedimiento

  1. Consulte el ejemplo siguiente para crear una configuración ad hoc. Esto crea una configuración para extraer las columnas especificadas de YFS_Order_Line durante los últimos 90 días. La frecuencia se establece en 2400 horas para que no se desencadene automáticamente durante los siguientes 100 días.
    <DataExtractConfig Action="ADD" 
    TaskId="yfs_order_line_adhoc_extract_1"
    TableName="YFS_ORDER_LINE"
    Columns="ORDER_LINE_KEY,ORDER_HEADER_KEY,PRIME_LINE_NO,ITEM_ID,UOM,ORDERED_QTY" 
    FrequencyInHours="2400" FirstRunExtractInDays="90"/>
    
  2. Ejecute la siguiente consulta desde Database Query Client para identificar las ejecuciones de extracción de datos en el pasado reciente. Esta consulta devuelve los trabajos de extracción pasados con el último que aparece en la parte superior de la lista. Consulte el valor de la columna RUN_AT, para ver un registro de tarea de extracción regular en la parte superior de la lista. Conozca el intervalo de desencadenante de criterios para que pueda deducir la hora aproximada del siguiente desencadenante.
    SELECT CFG.TASK_ID, CFG.TABLE_NAME, JOB.RUN_AT, JOB.STATUS FROM YFS_DATA_EXTR_CFG CFG, 
    YFS_DATA_EXTR_JOB JOB WHERE CFG.DATA_EXTR_CFG_KEY=JOB.DATA_EXTR_CFG_KEY ORDER BY 
    JOB.RUN_AT DESC
  3. Plataforma heredada Alternativamente, puede ver la siguiente hora de activación para este criterio desde el Panel del Servidor (https://<ip>:<port>/sma/sma/nghome.do). Haga clic en el servidor configurado para la extracción periódica de datos y consulte la hora del siguiente activador programado. Si está muy cerca del intervalo de desencadenante, puede esperar a que la ejecución planificada seleccione la configuración y extraiga los datos. Si no, puede activar los criterios manualmente desde la misma pantalla.
    Cada desencadenante del agente de extracción de datos repasa toda la configuración de extracción y los desencadena basándose en la última hora de extracción y el intervalo de frecuencia. Por primera vez, se utiliza el atributo FirstRunExtractInDays proporcionado en la configuración. Por lo tanto, para las extracciones ad hoc, se recomienda suprimir la configuración después de la extracción o mantener la frecuencia alta.
    Nota: Sólo es aplicable a los clientes antiguos.
  4. El XML de entrada para suprimir la tarea de configuración de extracción de datos que se ha creado anteriormente es el siguiente:
    <DataExtractConfig Action="DELETE" TableName="YFS_ORDER_LINE" 
    TaskId="yfs_order_line_adhoc_extract_1"/>
  5. Si esta configuración es para una extracción, puede crearla directamente en la base de datos de producción utilizando una llamada REST y suprimirla después del uso. Pero si ve una necesidad continua de las mismas tablas y columnas y sólo desea los registros nuevos o modificados para las ejecuciones posteriores, puede crear esta configuración como extracción normal en el entorno de configuración maestra y llevarla al entorno de producción utilizando CDT.
    Tabla 1. URL REST de ejemplo para crear y suprimir la configuración de extracción
    Requisito Patrón de URL REST
    Crear configuración de extracción de datos
    POST
    URL: https://<ip>:<port>/smcfs/restapi/executeFlow/CocDataExtractConfig
    Body: 
    { 
    "Action":"ADD",
    "TaskId":"yfs_order_line_adhoc_extract_1",
    "TableName":"YFS_ORDER_LINE",
    "Columns":"ORDER_LINE_KEY,ORDER_HEADER_KEY,PRIME_LINE_NO,ITEM_ID,UOM, ORDERED_QTY",
    "FrequencyInHours":"2400",
    "FirstRunExtractInDays":"90"
    }
    Headers:
    Content-Type:	application/json
    X-XAPI-Tag:	DataExtractConfig
    
    Suprimir configuración de extracción de datos
    POST
    https://<ip>:<port>/smcfs/restapi/executeFlow/CocDataExtractConfig
    Body: 
    { 
    "Action":"DELETE",
    "TableName":"YFS_ORDER_LINE",
    "TaskId":"yfs_order_line_adhoc_extract_1"
    }
    Headers:
    Content-Type:	application/json
    X-XAPI-Tag:	DataExtractConfig
    
  6. Una vez desencadenados los criterios, ejecute la siguiente consulta desde Database Query Client para identificar si la extracción ad hoc se ha realizado correctamente y para obtener información sobre el archivo extraído.
    SELECT CFG.TASK_ID, CFG.TABLE_NAME, JOB.STATUS, JOB.RUN_AT, JOB.STARTTS, JOB.ENDTS, 
    JOB.FILE_XFR_SIZE, JOB.AVG_ROW_LENGTH FROM YFS_DATA_EXTR_CFG CFG, YFS_DATA_EXTR_JOB 
    JOB WHERE CFG.DATA_EXTR_CFG_KEY=JOB.DATA_EXTR_CFG_KEY AND TASK_ID=<provide  task_id> 
    ORDER BY JOB.RUN_AT DESC
    La extracción se realiza correctamente si la columna STATUS muestra SUCCESS en el resultado. Los datos extraídos se comprimen y se envían a la ubicación FTP remota configurada para las extracciones de datos regulares. El patrón de archivo de extracción es <TASK_ID>__<TABLE_NAME>__<STARTTS>_<ENDTS>_m_of_n.zip. Tenga en cuenta que TASK_ID, TABLE_NAME, STARTTS y ENDTS del resultado de la consulta identifican el archivo extraído. Por ejemplo, a continuación se muestra el resultado de la ejecución:
    TASK_ID TABLE_NAME ESTADO RUN_AT STARTTS ENDTS
    yfs_inbox_adhoc_extract_3 YFS_INBOX SATISFACTORIO 2017-11-16 05:41:31.0 2017-08-08 05:41:31.0 2017-11-16 05:31:31.0
    Y el archivo de extracción se denomina yfs_inbox_adhoc_extract_3__YFS_INBOX__20170808054131_20171116053131_1_of_1.zip