Archivos de estadísticas

El IBM Cloud® Object Storage Scanner rastrea el estado de cada proceso LIST en un archivo de estadísticas.

Durante una exploración, el escáner ejecuta varios procesos. CadaLISTy realiza el seguimiento del progreso, guarda el next_keyy, opcionalmente, el next_version en un archivo de estadísticas denominado task.stats que se almacena con los archivos de registro en el directorio /opt/ibm/metaocean/data/connections/cos/replay/output/data .

{
     "estimated_object_count": 1000,
     "list_objects_size": 100,
      "next_key": "",
      "next_version": "",
      "prefix": "",
      "scan_type": "Object Scan",
      "status": "Complete",
      "total_bytes_output": 1126809,
      "total_bytes_scanned": 1126809,
      "total_objects_output": 47,
      "total_objects_scanned": 47,
      "vault_name": "dsmgmt-sp1",
      "vault_uuid": "868daa21-9e56-4c41-b6fd-845a4c85cea9"
}

Desde el escáner, puede iniciar, detener, recuperar archivos de un bloqueo y reiniciar en el punto en el que se interrumpió el escaneo.

Al iniciar el explorador:

  1. El proceso del escáner continúa desde next_key y next_version.
  2. La cola del notificador se optimiza volviendo a cargar desde los archivos de la carpeta de datos en lugar de solicitar dsNet.
  3. Los lotes que se han procesado parcialmente se vuelven a procesar. Es posible que se produzcan notificaciones duplicadas en Kafka, pero el sistema de catalogación de datos IBM las gestiona de forma segura.