Archivo de configuración

El notificador y la reproducción utilizan el archivo de configuración.

El archivo de configuración incluye:

  • Información relativa a la red
  • Parámetros de tiempo de ejecución para el notificador y la reproducción
  • Una lista de cajas fuertes para explorar

El archivo de configuración se denomina scanner-settings.json y debe estar en el directorio /opt/ibm/metaocean/data/connections/cos/replay .

Las reglas para IBM Cloud® Object Storage Ajustes de repetición son:

  • Se exploran todos los registros de acceso.
  • Todos los objetos creados o actualizados desde la hora universal coordinada (UTC) 00:00:01 del 11 de abril de 2018 a la hora universal coordinada (UTC) 10:01:53 el 21 de septiembre de 2018 se exploran en lotes de 1000.
  • Los metadatos personalizados se recuperan para cada objeto o versión.
  • Diez cajas fuertes se procesan en paralelo.
  • Cada caja fuerte tiene una única LISTA de proceso que emite solicitudes y 15 procesos que emiten solicitudes HEAD.

El ejemplo siguiente muestra cada valor. La mayoría de los valores tienen valores predeterminados y se pueden omitir, pero estas pantallas muestran un ejemplo típico utilizando valores predeterminados.

Ejemplo de los valores de reproducción de Cloud Object Storage
{
     "system": {
     "name": "Test dsnet",
     "uuid": "00000000-0000-0000-0000-000000000000",
     "manager_ip": "172.1.1.1",
     "accesser_ip": "172.1.1.2",
     "accesser_supports_https": false,
     "manager_username": "admin",
     "manager_password": "password",
     "is_ibm_cos": true
},
   "timestamps": {
     "min_utc": "2018-01-01T00:00:00Z",
     "max_utc": "2018-09-21T10:01:53Z"
},
   “policy_engine” : {
     “spectrum_discover_host”: ”modevvm32.tuc.stglabs.ibm.com”
     “user”: “sdadmin”,
     “password”: “password”
},
   "scanner": {
     "max_requests_per_second": 5000,
     "max_parallel_list": 10,
     "parallel_head_per_list": 5,
     "list_objects_size": 100
},   
"notifier":{
     "kafka_format": 1,
     "kafka_endpoint": "192.168.1.1:9092",
     "kafka_topic": "cos-le-connector-topic",
     "kafka_username": "cos",
     "kafka_password": "password",
     "kafka_pem": "-----BEGIN CERTIFICATE-----...\n-----END CERTIFICATE-----\n"
},   
   "logging": {
     "debug_log_max_bytes": 10000000,
     "debug_log_backup_count": 10000,
     "notification_log_max_bytes": 10000000,
     "notification_log_backup_count": 10000,
     "notification_log_all": true
},   
   "include_all_vaults": false,
   "has_custom_metadata": true,
   "override_warnings": true,
   "exclude-vaults": ["Manager"],
   "vaults": [
     {   
       "vault_name": "Vault-1"
     },
     {   
       "vault_name": "Vault-2",
       "has_custom_metadata": false
     },     
     {
       "vault_name": "Vault-3",
       "has_custom_metadata": false,
       "prefix": "customers/live"
     }
  ]
}
Valores de configuración típicos de Cloud Object Storage

{
     "dsnet": {
     "name": "Test dsnet",
     "uuid": "00000000-0000-0000-0000-000000000000",
     "manager_ip": "172.1.1.1",
     "accesser_ip": "172.1.1.2",
     "accesser_supports_https": false,
     "manager_username": "admin",
     "manager_password": "password",
     "is_ibm_cos": true
},
   "timestamps": {
     "min_utc": "2018-01-01T00:00:00Z",
     "max_utc": "2018-09-21T10:01:53Z"
},
   “policy_engine” : {
     “spectrum_discover_host”: ”modevvm32.tuc.stglabs.ibm.com”
     “user”: “sdadmin”,
     “password”: “password”
},
   "scanner": {
     "max_requests_per_second": 5000,
     "max_parallel_list": 10,
     "parallel_head_per_list": 5,
     "list_objects_size": 100
},   
   "notifier":{
     "kafka_format": 1,
     "kafka_endpoint": "192.168.1.1:9092",
     "kafka_topic": "cos-le-connector-topic",
     "kafka_username": "cos",
     "kafka_password": "password",
     "kafka_pem": "-----BEGIN CERTIFICATE-----...\n-----END CERTIFICATE-----\n"
},   
   "logging": {
     "debug_log_max_bytes": 10000000,
     "debug_log_backup_count": 10000,
     "notification_log_max_bytes": 10000000,
     "notification_log_backup_count": 10000,
     "notification_log_all": true
},   
   "include_all_vaults": false,
   "has_custom_metadata": true,
   "override_warnings": true,
   "exclude-vaults": ["Manager"],
   "vaults": [
     {   
       "vault_name": "Vault-1"
     },
     {   
       "vault_name": "Vault-2",
       "has_custom_metadata": false
     },     
     {
       "vault_name": "Vault-3",
       "has_custom_metadata": false,
       "prefix": "customers/live"
     }
  ]
}

{
     "dsnet": { 
     "manager_ip": "192.168.2.106",
     "accesser_ip": "192.168.2.111"
},
     "timestamps": {
     "min_utc": "2018-04-11T00:00:01.000Z",
     "max_utc": "2018-09-21T10:01:53Z"
},   
     "scanner":{
        "max_requests_per_second": 5000
},
     "include_all_vaults": true
}
{
     "system": { 
     "manager_ip": "192.168.2.106",
     "accesser_ip": "192.168.2.111"
},
    “policy_engine” : {
     “spectrum_discover_host”: ”modevvm32.tuc.stglabs.ibm.com”
},
     "timestamps": {
     "min_utc": "2018-04-11T00:00:01.000Z",
     "max_utc": "2018-09-21T10:01:53Z"
},   
     "scanner":{
        "max_requests_per_second": 5000
},
     "include_all_vaults": true
}
IBM Cloud Object Storage El escáner es altamente configurable. Cada elemento del archivo se describe en la Tabla 1.
Recuerde: IBM Data Cataloging no admite nombres de archivos o rutas de archivos que utilicen caracteres que no formen parte del juego de caracteres UTF-8.
Tabla 1. Explicación del archivo de configuración
Elemento Descripción Opcional Valor predeterminado Reiniciar explorador si se cambia Reiniciar notificador si se cambia
Sección Sistema          
name Nombre de texto libre de dsNet. Aparece en el'system_name'en todos los mensajes Kafka . ✓ Se recupera de la API de gestor si se ha configurado. Si no es así, el nombre no aparece en los mensajes Kafka . ✓ ✗
uuid UUID de dsNet. Aparece en el'system_uuid'en todos los mensajes Kafka . ✓ Recuperado de la API del gestor. ✓ ✗
manager_ip Dirección IP única o nombre de host del dispositivo de gestor. ✗ No aplicable ✓ ✗
accesser_ip Dirección IP única o nombre de host de un dispositivo accesor o equilibrador de carga que direcciona a los accesores. ✗ No aplicable ✓ ✗
accesser_supports_https Valor booleano que indica si se puede utilizar http o https al enviar solicitudes al accesor o al equilibrador de carga. ✓ verdadero ✓ ✗
manager_username Nombre de usuario para acceder a la API del gestor.

Sólo para pruebas. No debe utilizarse en producción.

 ✓ Proporcionado por el usuario en la solicitud ✓ ✗
manager_password Contraseña para acceder a la API del gestor.

Sólo para pruebas. No debe utilizarse en producción.

 ✓ Proporcionado por el usuario en la solicitud ✓ ✗
is_ibm_cos Valor booleano que indica si el sistema es un IBM Cloud Object Storage u otro sistema compatible con s3. Si es true, se utiliza la extensión IBM® Get Bucket Extension para recuperar claves de objetos de los almacenes.
Nota: El escáner y el notificador no admiten actualmente el establecimiento del valor en false.
 ✓ Sí ✓ ✗
accesser_access_key ID de clave de acceso de las llamadas S3 al accesor o al equilibrador de cargas.

Sólo para pruebas. No debe utilizarse en producción.

 ✓ Lo proporciona el usuario cuando se le solicita si no puede recuperarlo de la API de gestor para la cuenta de usuario especificada en dsNet/manager_ username. ✓ ✗
accesser_secret_key Clave secreta para llamadas S3 al accesor o equilibrador de carga.

Sólo para pruebas. No debe utilizarse en producción.

 ✓ Proporcionado por el usuario en la solicitud si no puede recuperar de la API de gestor. ✓ ✗
Sección de indicaciones de fecha y hora          
min_utc Sólo se envían a IBM Data Cataloging los objetos o versiones de los almacenes cuya fecha LastModified sea igual o posterior a esta fecha.

Debe ser menor que el valor de max_utc .

Nota: El cambio de min_utc y el reinicio del explorador sólo se aplica a los objetos que todavía no se han explorado. Los objetos explorados antes del reinicio pueden tener un valor LastModifiedDate anterior al valor min_utc .
 ✗   ✓

Consulte la nota.

 ✗
max_utc Sólo se envían a IBM Data Cataloging los objetos o versiones de los almacenes cuya fecha LastModified sea igual o anterior a esta fecha. Debe ser mayor que min_utc y menor que la hora actual.
Nota: Cambiar max_utc a una hora más reciente y reiniciar no significa que se graben objetos nuevos desde que se explora el max_utc antiguo. El escáner continúa desde la clave del último objeto que se explora en orden lexicográfico. Esto significa que los objetos nuevos con nombres menores que el último objeto explorado no se exploran.
 ✓   ✓

Consulte la nota.

 ✗
Sección del motor de políticas  

(Sólo necesario para IBM Data Cataloging 2.0.0.3 y posteriores)

      
spectrum_discover_host Nombre de host o dirección IP del servicio de motor de políticas del que se recupera el certificado Kafka . ✗ ninguno ✓ ✓
user Nombre de usuario para la autorización en el motor de políticas. ✗ ninguno ✓ ✓
password Contraseña para la autorización en el motor de políticas. ✗ ninguno ✓ ✓
Sección de reproducción          
access_log_directory Los 2access_log_directoryes donde se almacenan los archivos de registro de acceso dsNet después de la descarga. Los registros de acceso deben estar en la carpeta de entrada raíz. Los archivos de los subdirectorios no se procesan. ✓ [ IBM Cloud Object Storage Replay ]/ access_logs Reiniciar reproducción si se cambia Reiniciar reproducción si se cambia
download Si la descarga se establece en false, los registros de acceso no se descargan y se supone que ya están presentes en access_log_directory. ✓ verdadero Reiniciar reproducción si se cambia Reiniciar reproducción si se cambia
Sección Notificador   ✓      
kafka_format Formato del mensaje Kafka . ✓ 1 ✗ ✓
kafka_endpoint Dirección IP y puerto del punto final Kafka . ✓ Recuperado de la API de gestor ✗ ✓
kafka_topic Nombre del tema Kafka . ✓ Recuperado de la API de gestor ✗ ✓
kafka_username El nombre de usuario para la autenticación con Kafka.
Nota: Sólo para pruebas. No debe utilizarse en producción.
 ✓ Proporcionado por el usuario en la solicitud si no puede recuperar de la API de gestor. ✗ ✓
kafka_password La contraseña para la autenticación con Kafka.
Nota: Sólo para pruebas. No debe utilizarse en producción.
 ✓ Proporcionado por el usuario en la solicitud si no se puede recuperar de la API de gestor. ✗ ✓
kafka_pem El certificado PEM para la autenticación con Kafka. Debe incluir ' \n' caracteres para asegurarse de que el formato es correcto.
Nota: Sólo para pruebas. No debe utilizarse en producción.
 ✓ Proporcionado por el usuario en la solicitud si no se puede recuperar del sistema ✗ ✓
Sección Registro        
debug_log_max_bytes scanner.debug y notifier.debug se traspasaran cuando se alcanzara este tamaño. ✓ 1 000 000 ✓ ✓
debug_log_backup_count El número de archivos scanner.debug y notifier.debug que se deben retener. ✓ 10 ✓ ✓
notification_log_max_b El notification.log se renueva cuando se alcanza este tamaño. ✓ 1 000 000 ✓ ✓
notification_log_backup_count El número de archivos notification.log que se deben retener. ✓ 10 ✓ ✓
notification_log_all Valor booleano que controla el nivel de registro del notificador.

Cuando es true: se escribe una entrada en notification.log para el mensaje que envía al clúster Kafka .

Cuando es false: sólo los envíos anómalos se escriben en notification.log.

 ✓ No ✗ ✓
Elementos de nivel raíz          
include_all_vaults Valor booleano que determina si se exploran todas las cajas fuertes de dsNet . Si es false, los detalles de las cajas fuertes que se van a explorar deben especificarse en el elemento 'vaults'.

Valor booleano que determina si los metadatos personalizados y el tipo de contenido se recuperan para cada objeto utilizando solicitudes HEAD individuales.

 ✓ No ✓ ✗
has_custom_metadata Este valor sólo es relevante cuando se explora una caja fuerte con versión. En los sistemas IBM Cloud Object Storage sistemas, los almacenes no versionados requieren siempre una petición HEAD para cada objeto. Se puede alterar temporalmente para cada caja fuerte en el elemento 'vaults'. ✓ Sí ✓ ✗
override_warnings Valor booleano que permite que el explorador se ejecute e ignore los avisos que se generan al iniciar. Por ejemplo, se genera un aviso al iniciar si el mantenimiento de versiones se suspende en una caja fuerte. ✓ No ✓ ✗
exclude_vaults Lista separada por comas de nombres de caja fuerte que se excluirán de la exploración, como por ejemplo:
"exclude-vaults": ["COSVault", "COSVault-V"]
 ✓ []

Lista vacía

 ✓ ✗
vaults Lista de cajas fuertes que se van a explorar. Siinclude_all_vaultses true, la lista de cajas fuertes se puede dejar vacía.

Esta lista se puede utilizar para definir parámetros de exploración más detallados para cajas fuertes individuales. Los valores que se definen aquí tienen prioridad sobre los valores que se describen.

Cada elemento de la lista contiene:

Los 2vault_namees el nombre de la caja fuerte.

Los 2has_custom_metadataes un booleano opcional que altera temporalmente elhas_custom_metadataque se describe.

Los 2prefixes una serie opcional que se utiliza para filtrar los objetos o versiones que se recuperan de la caja fuerte.

 ✓ Depende de los valores include_all_vaults y exclude_vaults ✓ ✗