Configuración de la extracción de datos

Antes de utilizar el servicio de extracción de datos de IBM Sterling® Order Management System, asegúrese de que el agente de extracción de datos del servicio está configurado para funcionar en sus entornos.

El agente de extracción de datos se proporciona como agente multihebra activado por tiempo. Puede ver y configurar el agente en el Gestor de aplicaciones.

Después de configurar el agente, utilice el Autoservicio para iniciar y detener el agente. Cuando el agente se inicia, el proceso de extracción se dispara y se ejecuta a intervalos programados. También puede ejecutar el servicio de extracción entre las horas programadas cuando desee volver a crear un archivo de salida o si un archivo está dañado.

Procedimiento

Cree configuraciones de tabla relacionadas con la extracción de datos. Para obtener más información, consulte Servicio de configuración de extracción de datos.
Configure los valores de agente de extracción de datos.
1. Abra Applications Manager.
2. Vaya a Plataforma > Modelado de procesos > General > Agente de extracción de datos de código.
3. En la pestaña Desencadenado por tiempo , establezca los siguientes atributos relacionados con JMS.
  - Desencadene el intervalo en 10 minutos o más.
  - Número de hebras que se ejecutarán en paralelo en función de cuántas conexiones estables simultáneas pueda manejar el servicio de archivos. Número sugerido de 2 a 5 hebras.
Para actualizar estos detalles, establezca las propiedades siguientes en la Consola de administración del sistema.
1. Si el servicio de almacenamiento de archivos es un servidor SFTP, configure su propio servidor SFTP de forma que el servicio de extracción de datos pueda transferir archivos de salida al servidor SFTP. Para configurar esta conexión, actualice los detalles y la ubicación de su servidor SFTP en su entorno de producción de Sterling™ Order Management System.
  - yfs.yfs.coc.dataextract.sftp.hostname=hostname
  - yfs.yfs.coc.dataextract.sftp.port=port
  - yfs.yfs.coc.dataextract.sftp.dir=directory_path
  - yfs.yfs.coc.dataextract.sftp.username=user
  - yfs.yfs.coc.dataextract.sftp.password=password
  En este caso,
  - hostname hace referencia al nombre de host del servidor SFTP.
  - port hace referencia al número de puerto del servidor SFTP.
  - directory_path hace referencia a la vía de acceso del servidor SFTP donde se van a transferir los archivos de salida.
  - user hace referencia al nombre de usuario que se debe especificar para conectarse al servidor SFTP.
  - password hace referencia a la contraseña del usuario SFTP.
2. Puede utilizar un servicio de almacenamiento de archivos basado en la nube para extraer datos utilizando la herramienta de extracción de datos. Se puede utilizar cualquier servicio que sea totalmente compatible con el protocolo S3 Amazon AWS. La aplicación certifica servicios en la nube como Amazon AWS S3 e IBM Cloud® Object Storage para su uso con la herramienta. Para otros servicios totalmente S3-compliant, puede realizar su certificación para permitir la compatibilidad.
  Para utilizar un servicio S3-based, añada las siguientes configuraciones para configurarlo para recibir archivos de extracto de datos:
  - yfs.yfs.coc.dataextract.export.mode=S3 -Especifique S3 para utilizar el servicio de archivos compatible con la biblioteca S3 . El valor predeterminado es SFTP.
  - yfs.yfs.coc.dataextract.s3.bucketname - Nombre del bucket S3 al que se extraen los archivos.
  - yfs.yfs.coc.dataextract.s3.accesskey -Clave de acceso para acceder al grupo S3 .
  - yfs.yfs.coc.dataextract.s3.secretkey -Clave secreta para acceder al grupo S3 .
  - yfs.yfs.coc.dataextract.s3.endpointurl - URL del punto final para acceder al bucket S3.
  - yfs.yfs.coc.dataextract.s3.location -Ubicación para acceder al grupo S3 . Esto es opcional, si la ubicación puede resolverse a partir de la propia URL del punto final.
  - yfs.yfs.coc.dataextract.s3.region -Región para acceder al grupo S3 . Especifique la URL del punto final o la región.
  - yfs.yfs.coc.dataextract.s3.prefix - Opcional. Prefijo personalizado que se añadirá a los nombres de archivo que se exporten al bucket S3.
  - yfs.yfs.coc.dataextract.s3.requesttimeout -Tiempo de espera para la solicitud S3 en milisegundos. Es opcional, ya que se utiliza el valor predeterminado 5000.
  - yfs.yfs.coc.dataextract.s3.useS3SignerType - Especifique esta propiedad a true para permitir la extracción de datos a Google Cloud Storage (GCS).
3. Configure la herramienta de extracción de datos con las siguientes propiedades para almacenar los archivos extraídos en Microsoft Azure Blob Storage. Esta configuración requiere proporcionar detalles sobre su cuenta Azure Blob Storage, contenedor y credenciales de acceso seguro. La configuración garantiza que los archivos se exportan al contenedor correcto con la seguridad adecuada mediante el uso de tokens SAS.
  - yfs.yfs.coc.dataextract.export.mode - Especifique el modo de exportación para la extracción de datos. Establézcalo en AzureBSRest para utilizar Azure Blob Storage a través de la API REST.
  - yfs.yfs.coc.dataextract.azurebs.accountname - Especifique el nombre de su cuenta Azure Blob Storage. Identifica la cuenta de almacenamiento donde reside el contenedor. Valor de ejemplo: myaccount.
  - yfs.yfs.coc.dataextract.azurebs.containername - Especifique el nombre del contenedor Azure Blob Storage donde se extraerán los archivos. Valor de ejemplo: abc.
  - yfs.yfs.coc.dataextract.azurebs.prefix - Especifique un prefijo personalizado opcional para añadir a los nombres de archivo exportados al contenedor Azure Blob Storage. Valor de ejemplo: ext.
  - yfs.yfs.coc.dataextract.azurebs.sastoken - Establece el token SAS para proporcionar acceso delegado seguro al contenedor.
  - Revise las siguientes directrices para las fichas SAS.
    - Generar tokens SAS a nivel de contenedor.
    - Asegúrese de que los permisos incluyen racwld.
    - Utilice una caducidad lo suficientemente larga para las operaciones del Agente de Extracción de Datos. Valor de ejemplo: sp=racwld&st=....
Opcional: Puede configurar el servicio de extracción de datos para su empresa estableciendo las siguientes propiedades opcionales en la Consola de administración del sistema.
- yfs.yfs.coc.dataextract.csv.escapedoublequote -Opción para escapar una comilla doble en los datos extraídos con una serie personalizada. De forma predeterminada, si hay comillas dobles (") existe en los datos extraídos, se sustituye por la serie, dos comillas dobles (""). Utilizando esta propiedad, puede especificar una serie personalizada para sustituir las comillas dobles en los datos.
- yfs.yfs.coc.dataextract.fetch.maxrows -Límite máximo de registros que se extraen por consulta en caso de que el límite se calcule a partir de la memoria sea superior. De forma predeterminada, el valor se establece en 50000.
- yfs.yfs.coc.dataextract.fetch.maxminsold - Intervalo de tiempo en minutos antes de la hora actual para el que no se extraen los datos existentes. El valor predeterminado es 60 minutos.
  Nota: Si establece un valor inferior al valor predeterminado, es posible que pierda actualizaciones de datos al extraer datos. Cuanto menor sea el valor, mayor será el riesgo de pérdida de datos.
- yfs.yfs.coc.dataextract.fetch.maxhoursold - Intervalo de tiempo en horas, antes de la hora actual, para el que no se extraen los datos existentes. De forma predeterminada, el valor se establece en 1. Esto no se aplica si se ha establecido yfs.yfs.coc.dataextract.fetch.maxminsold .
- yfs.yfs.coc.dataextract.csv.delimiter -Delimitador de columna en el archivo CSV exportado. El valor predeterminado es una coma (,)
- yfs.yfs.coc.dataextract.csv.newlinelastrecord - Añade un carácter de línea después del último registro en el archivo CSV exportado. De forma predeterminada, el valor se establece en N.
- yfs.yfs.coc.dataextract.csv.firstrowheader - Añada una fila de encabezado que contenga los nombres de las columnas que se extraen en el archivo CSV exportado. Por defecto, el valor es N.
- yfs.yfs.coc.dataextract.export.removefailedfiles - Opcionalmente, puede limpiar de forma remota los archivos de extracción obsoletos que forman parte de extracciones fallidas estableciendo el valor en Y. De forma predeterminada, los archivos de extracción obsoletos que forman parte de las extracciones fallidas no se borran.
- yfs.yfs.coc.dataextract.fetch.maxdaysextractatonce - recuperar extractos de larga duración en trozos más pequeños, definidos por un número determinado de días, en lugar de obtener los datos desde la hora de inicio del seguimiento hasta la hora actual de una sola vez.
  Por defecto, el agente de extracción de datos recupera datos que abarcan un periodo largo en una sola operación. Es decir, desde la hora de inicio del seguimiento hasta la hora actual, sobre todo durante las primeras extracciones. Puede especificar esta propiedad a un número concreto de días para realizar los extractos de tramo largo en trozos del número de días especificado. Se recomienda una duración de 30 días. Por ejemplo, si FirstRunExtractInDays es 365 (1 año), cuando ejecuta la extracción de datos, los datos completos de 365 días se extraen en un desencadenante, lo que da como resultado la creación de muchos trabajos. Además, incluso si un trabajo falla, la extracción de datos se reinicia desde la hora de inicio. Sin embargo, si esta propiedad se establece en 30, la extracción de datos se realiza sobre 365 /30 = ~ 13 desencadenantes. Esto minimiza las posibilidades de tener que volver a extraer datos desde el principio.
- yfs.yfs.coc.dataextract.export.minspacerequired - Configure el espacio mínimo que se necesita en el servicio de almacenamiento de archivos para ejecutar el agente de extracción de datos. El valor por defecto es de 1024 MB. Mantenga espacio suficiente en el servicio de almacenamiento de archivos, en función de las necesidades de su empresa, para que el agente de extracción de datos se ejecute correctamente. Si el espacio es menor que el umbral configurado, la extracción de datos se detiene. Actualmente, sólo es aplicable para el servidor SFTP.
Inicie el agente CocDataExtractServer.
Cuando el agente se inicia, se desencadena el proceso de extracción y se ejecuta en intervalos planificados.