IBM Cloud Object Storage Datos de salida del escáner

El explorador genera un directorio debajo del directorio de datos de salida para cada caja fuerte o prefijo de caja fuerte tal como se define en el archivo de configuración.

El directorio /opt/ibm/metaocean/data/connections/cos/replay/output/data es el directorio de datos de salida del escáner.

La pantalla siguiente muestra un ejemplo de un archivo de configuración y también muestra que se han explorado todas las cajas fuertes, pero mega_vault tiene cuatro prefijos separados que se definen en el cabrestante, lo que significa que se han producido las cuatro exploraciones de la caja fuerte.


"include_all_vaults": true,
  "vaults": [
  {"vault_name": "mega_vault", "prefix": "main/production/finance"},
  {"vault_name": "mega_vault", "prefix": "main/production/sales"},
  {"vault_name": "mega_vault", "prefix": "main/production/marketing"},
  {"vault_name": "mega_vault", "prefix": "main/production/hr"}
] 

La Figura 1 muestra la estructura de directorios.

Figura 1. Estructura de directorios del archivo de configuración
Estructura de directorios del archivo de configuración

El estado y el progreso de cada exploración deben mantenerse para que se cree una estructura de directorios independiente para cada exploración. La Tabla 1 muestra los directorios hoja que contienen los nombres de archivo y la descripción.

Tabla 1. Nombres de archivo de directorio hoja
Nombre de archivo Descripción
_LISTProcessN.depurar El N en el nombre de archivo es diferente para cada proceso (0-9 si hay 10 procesos).

Contiene información de depuración detallada y detalles de los errores encontrados al explorar la caja fuerte. La Figura 2 muestra un ejemplo de ejecución en modalidad de depuración.

Figura 2. Ejemplo de ejecución en modalidad de depuración
Ejemplo de ejecución en modalidad de depuración
task.stats El explorador se inicia en formato JSON para una única caja fuerte. Se ha actualizado después del proceso satisfactorio de cada lote de objetos.

Proceso por lotes

*.log El explorador crea varios archivos .log para cada caja fuerte. Cada archivo .log contiene hasta 1000 mensajes Kafka , listos para ser enviados al clúster Kafka por el notificador.

El convenio de denominación para los archivos de registro es

<date>-<time>-<milliseconds>-<batch number>-<number
of messages in file>.log

mensajes en el archivo .log