Opciones de configuración del protocolo de API REST de Amazon AWS S3

El protocolo de API REST de Amazon AWS S3 es un protocolo de salida activo que recopila registros de AWS CloudTrail de grupos de Amazon S3 .

Nota: Es importante asegurarse de que no faltan datos cuando recopila registros de Amazon S3 para utilizarlos con un DSM personalizado u otras integraciones no soportadas. Debido a la forma en que las API S3 devuelven los datos, todos los archivos deben estar en un orden alfabéticamente creciente cuando se lista la vía de acceso completa. Asegúrese de que el nombre completo de la vía de acceso incluya una fecha y hora completas en formato ISO9660 (ceros iniciales en todos los campos y un formato de fecha AAAA-MM-DD).

Tenga en cuenta la siguiente vía de acceso de archivo:

<Name>test-bucket</Name><Prefix>MyLogs/</Prefix><Marker>MyLogs/2018-8-9/2018-08-09T23-5925.955097.log.g</Marker><MaxKeys>1000</MaxKeys><IsTruncated>false</IsTruncated></ListBucketResult>

El nombre completo del archivo en el marcador es MyLogs/2018-8-9/2018-08-09T23-59-25.955097.log.gz y el nombre de carpeta se escribe como 2018-8-9 en lugar de 2018-08-09. Este formato de fecha provoca un problema cuando se presentan los datos del 10 de septiembre de 2018. Cuando se ordena, la fecha se muestra como 2018-8-10 y los archivos no se ordenan cronológicamente:

2018-10-1

2018-11-1

2018-12-31

2018-8-10

2018-8-9

2018-9-1

Después de que los datos del 9 de agosto de 2018 lleguen a IBM QRadar, no volverá a ver los datos hasta el 1 de septiembre de 2018 porque los ceros iniciales no se utilizaron en el formato de fecha. Después de septiembre, no volverás a ver datos hasta 2019. Los ceros iniciales se utilizan en la fecha (ISO 9660), por lo que este problema no se produce.

Mediante el uso de ceros iniciales, los archivos y carpetas se ordenan cronológicamente:

2018-08-09

2018-08-10

2018-09-01

2018-10-01

2018-11-01

2018-12-01

2018-12-31

Restricción:

Un origen de registro sólo puede recuperar datos de una región, por lo tanto, utilice un origen de registro diferente para cada región. Incluya el nombre de carpeta de región en la vía de acceso de archivo para el valor Directory Prefix cuando utilice el método de recopilación de sucesos de prefijo de directorio para configurar el origen de registro.

La tabla siguiente describe los valores de parámetro comunes para recopilar sucesos de auditoría utilizando el método de recopilación de prefijos de directorio o el método de recopilación de sucesos SQS. Estos métodos de recopilación utilizan el protocolo de API REST de Amazon AWS S3 .

Tabla 1. Parámetros de origen de registro comunes de protocolo de API REST de Amazon AWS S3 con el método Directory Prefix o el método SQS
Parámetro	Descripción
Configuración de protocolo	API REST de Amazon AWS S3
Identificador de origen de registro	Escriba un nombre exclusivo para el origen de registro. El Identificador de origen de registro puede ser cualquier valor válido y no es necesario que haga referencia a un servidor específico. El Identificador de origen de registro puede ser el mismo valor que el Nombre de origen de registro. Si tiene más de un origen de registro configurado por DSM, asegúrese de que asigna a cada uno un nombre exclusivo.
Método de autenticación	ID de clave de acceso/Clave secreta Autenticación estándar que se puede utilizar desde cualquier lugar. Para obtener más información sobre la configuración de credenciales de seguridad, consulte Configuración de credenciales de seguridad para la cuenta de usuario de AWS. EC2 Rol de IAM de instancia Si el host gestionado se ejecuta en una instancia de AWS EC2 , al elegir esta opción se utiliza el rol de IAM de los metadatos de instancia asignados a la instancia para la autenticación. No se necesitan claves. Este método sólo funciona para los hosts gestionados que se ejecutan en un contenedor AWS EC2 .
Clave de acceso	El ID de clave de acceso que se ha generado al configurar las credenciales de seguridad para la cuenta de usuario de AWS . Si ha seleccionado ID de clave de acceso/clave secreta o Asumir rol de IAM, se muestra el parámetro Clave de acceso .
Clave secreta	La clave secreta que se ha generado al configurar las credenciales de seguridad para la cuenta de usuario de AWS . Si ha seleccionado ID de clave de acceso/clave secreta o Asumir rol de IAM, se muestra el parámetro Clave secreta .
Asumir un rol de IAM	Habilite esta opción autenticándose con una clave de acceso o un rol de IAM de instancia de EC2 . A continuación, puede asumir temporalmente un rol de IAM para el acceso.
Asumir rol ARN	El ARN completo del rol a asumir. Debe empezar por `arn:` y no puede contener espacios iniciales ni finales ni espacios dentro del ARN. Si ha habilitado Asumir un rol de IAM, se muestra el parámetro Asumir rol ARN .
Asumir nombre de sesión de rol	El nombre de sesión del rol que se va a asumir. El valor predeterminado es `QRadarAWSSession`. Déjelo como valor predeterminado si no necesita cambiarlo. Este parámetro sólo puede contener caracteres alfanuméricos en mayúsculas y minúsculas, subrayados o cualquiera de los caracteres siguientes: `=,.@-` Si ha habilitado Asumir un rol de IAM, se muestra el parámetro Asumir nombre de sesión de rol .
Asumir ID externo de rol	Un identificador que puede necesitar para asumir un rol en otra cuenta. Obtiene este valor del administrador de la cuenta a la que pertenece el rol. Este valor puede ser cualquier serie, como una frase de contraseña, GUID o número de cuenta. Para obtener más información, consulte Cómo utilizar un ID externo al otorgar acceso a los recursos de AWS a un tercero (https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user_externalid.html). Si ha habilitado Asumir un rol de IAM, se muestra el parámetro Asumir ID externo de rol .
S3 Método de recopilación	SQS Event Notifications Sondee una cola SQS que contenga notificaciones ObjectCreated configuradas en las carpetas S3 de su elección. A continuación, descargue y procese los archivos a los que se hace referencia en la notificación desde el grupo S3 . Puede utilizar una sola cola o colas separadas para cubrir varios grupos y cuentas. Esta decisión depende de la configuración. Para obtener más información, consulte la Tabla 3. Utilizar un prefijo específico Los registros de la carpeta especificada se procesan. Para los orígenes de registro de CloudTrail , el prefijo debe ser sólo para una única cuenta o región. Para otros orígenes de registro, el prefijo debe apuntar a un único directorio que contenga archivos con indicaciones de fecha y hora ISO8601 al principio de cada nombre de archivo. La indicación de fecha y hora de cada nombre de archivo garantiza que el protocolo recopile sucesos nuevos con este método. Para obtener más información, consulte la Tabla 2.
Nombre de la región	La región en la que se encuentra la cola SQS o el grupo AWS S3 . Ejemplo: us-east-1, eu-west-1, ap-northeast-3
Formato de suceso	Elija el formato de los sucesos contenidos en los archivos. AWS CloudTrail JSON Archivos que contienen sucesos con formato JSON para Amazon Cloud Trail (solo archivos.json.gz ). LINEBILINA Archivos de registro sin formato que contienen un registro por línea. Se da soporte a la compresión con gzip (.gz o .gzip) y zip (.zip). Registros de flujo de VPC de AWS Archivos que contienen registros de flujo de VPC nativo/OCSF de AWS (sólo archivos.txt.gz o gz.parquet ). Esta opción envía flujos a la pestaña Actividad de red en QRadar. El origen de registro configurado no muestra una Hora de última visualización de suceso porque la salida son datos de flujo. Registros de cortafuegos de red de AWS Archivos que contienen registros de alertas o flujos de AWS Network Firewall. Esta opción envía registros de flujo a la pestaña Actividad de red y envía registros de alertas como sucesos a la pestaña Actividad de registro en QRadar. El DSM de Amazon AWS Network Firewall analiza los registros. Sugerencia: Si el sistema no tiene licencia para los flujos, utilice el procesador LINEBYLINE para que el DSM pueda analizar los registros de AWS Network Firewall. W3C Para su uso con Cisco Cloud Web Services DSM (sólo archivos.gz ). CSV de Cisco SSE Para su uso con Cisco Umbrella DSM (sólo archivos.gz ). Apache Parquet Elija esta opción para convertir archivos Apache Parquet en sucesos JSON (sólo archivos.gz.parquet y .parquet ). CSV genérico Procesa archivos que contienen datos CSV con una fila de cabecera en una salida de par clave-valor estructurado. Puede elegir entre salida JSON o par nombre-valor. Se da soporte a la compresión con gzip (.gz o .gzip) y zip (.zip).
Los datos CSV contienen una fila de cabecera	Los registros exportados a S3 contienen una línea de encabezado CSV. Esta opción es necesaria para los logs de Cisco SSE, pero es opcional para los dnslogs, proxylogs e iplogs heredados de Cisco Umbrella.
Delimitador de CSV	El carácter delimitador de los datos CSV de origen. Si selecciona CSV Genérico en el parámetro Formato de Evento, puede configurar este parámetro.
Formato de salida	Elija cómo debe formatearse la salida en claves y valores. El formato JSON admite la salida de un JSON plano de nombres y valores de cabecera. Por ejemplo: `{ "header1" : "value1", "header2" : "value2" }`. El formato Nombre-Valor genera pares nombre=valor separados por tabuladores. Por ejemplo: `header1=value1<tab>header2=value2` Si selecciona W3C o CSV Genérico en el parámetro Formato de Evento, puede configurar este parámetro.
Suprimir campos vacíos	Establezca esta opción en false para generar nombres para todos los campos. Esta opción omite los campos de la salida cuyo valor se considera vacío para reducir el tamaño de la salida. Esto incluiría una cadena vacía, un valor que sólo contenga espacios en blanco o un valor que sea un guión simple (-). Si selecciona W3C o CSV Genérico en el parámetro Formato de Evento, puede configurar este parámetro.
Nombre de host de destino de flujo	El nombre de host del procesador de flujo donde se envían los registros de flujo del Flujo de VPC o AWS Network Firewall. Si selecciona AWS Registros de flujo de VPC o AWS Network Firewall en el parámetro Formato de suceso , puede configurar este parámetro.
Puerto de destino de flujo	El puerto de procesador de flujo donde se envían los registros de flujo de VPC Flow o AWS Network Firewall. Si selecciona AWS Registros de flujo de VPC o AWS Network Firewall en el parámetro Formato de suceso , puede configurar este parámetro.
Utilizar como origen de registro de pasarela	Seleccione esta opción para que los sucesos recopilados fluyan a través del motor de QRadar Traffic Analysis y para que QRadar detecte automáticamente uno o varios orígenes de registro. Cuando selecciona esta opción, el Patrón de identificador de origen de registro se puede utilizar opcionalmente para definir un Identificador de origen de registro personalizado para los sucesos que se están procesando.
Patrón de identificador de origen de registro	Si ha seleccionado Utilizar como origen de registro de pasarela, puede definir un identificador de origen de registro personalizado para los sucesos que se están procesando y para que los orígenes de registro se descubran automáticamente cuando sea aplicable. Si no configura el Patrón de identificador de origen de registro, QRadar recibe sucesos como orígenes de registro genéricos desconocidos. Utilice pares de clave-valor para definir el identificador de origen de registro personalizado. La clave es la serie de formato de identificador, que es el origen o valor de origen resultante. El valor es el patrón de expresión regular asociado que se utiliza para evaluar la carga útil actual. Este valor también da soporte a grupos de captura que se pueden utilizar para personalizar más la clave. Defina varios pares de clave-valor escribiendo cada patrón en una línea nueva. Se evalúan varios patrones en el orden en que se listan. Cuando se encuentra una coincidencia, se visualiza un identificador de origen de registro personalizado. Los ejemplos siguientes muestran varias funciones de pares de clave-valor. Patrones `VPC=\sREJECT\sFAILURE` `$1=\s(REJECT)\sOK` `VPC-$1-$2=\s(ACCEPT)\s(OK)` Sucesos `{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}` Identificador de origen de registro personalizado resultante VPC-ACCEPT-Correcto
Utilizar análisis predictivo	Si habilita este parámetro, un algoritmo extrae patrones de identificador de origen de registro de sucesos sin ejecutar la expresión regular para cada suceso, lo que aumenta la velocidad de análisis. Sugerencia: En circunstancias excepcionales, el algoritmo puede realizar predicciones incorrectas. Habilite el análisis predictivo sólo para los tipos de origen de registro que espera que reciban tasas de sucesos altas y que requieran un análisis más rápido.
Mostrar opciones avanzadas	Seleccione esta opción si desea personalizar los datos de suceso.
File Pattern	Esta opción está disponible cuando establece Mostrar opciones avanzadas en Sí. Escriba una expresión regular para el patrón de archivo que coincida con los archivos que desea extraer; por ejemplo, .*?\.json\.gz.
Directorio local	Esta opción está disponible cuando establece Mostrar opciones avanzadas en Sí. El directorio local en el recopilador de sucesos de destino. El directorio debe existir antes de que el protocolo de la API REST AWS S3 intente recuperar sucesos.
URL punto final S3	Esta opción está disponible cuando establece Mostrar opciones avanzadas en Sí. La URL del punto de enlace que se utiliza para consultar la API REST de AWS S3. Si la URL de su punto final es diferente de la predeterminada, escriba la URL su punto final. El valor predeterminado es `https://s3.amazonaws.com`.
Utilizar acceso de estilo de vía de acceso S3	Fuerza a las solicitudes S3 a utilizar el acceso de estilo de vía de acceso. Este método está en desuso por AWS. Sin embargo, es posible que sea necesario cuando utilice otras API compatibles con S3 . Por ejemplo, el estilo de vía de acceso https://s3.region.amazonaws.com/bucket-name/key-name se utiliza automáticamente cuando un nombre de grupo contiene un punto (.). Por lo tanto, esta opción no es necesaria, pero se puede utilizar.
Utilizar proxy	Si QRadar accede al servicio web de Amazon utilizando un proxy, habilite Utilizar proxy. Si el proxy requiere autenticación, configure los campos Servidor proxy, Puerto proxy, Nombre de usuario de proxyy Contraseña de proxy . Si el proxy no requiere autenticación, configure el campo IP de proxy o nombre de host .
Recurrencia	Frecuencia con la que se realiza un sondeo para buscar nuevos datos. Si utiliza el método de recopilación de sucesos SQS, SQS Event Notifications puede tener un valor mínimo de 10 (segundos). Debido a que el sondeo de cola SQS puede producirse con más frecuencia, se puede utilizar un valor inferior. Si está utilizando el método de recopilación de sucesos de prefijo de directorio, Utilizar un prefijo específico tiene un valor mínimo de 60 (segundos) o 1M. Puesto que cada solicitud listBucket a un grupo AWS S3 incurre en un coste para la cuenta propietaria del grupo, un valor de recurrencia menor aumenta el coste. Escriba un intervalo de tiempo para determinar la frecuencia con la que se realiza el sondeo para los datos nuevos. El intervalo de tiempo puede incluir valores en horas (H), minutos (M) o días (D). Por ejemplo, 2H = 2 horas, 15M = 15 minutos, 30 = segundos.
Regulador de EPS	El número máximo de sucesos por segundo que QRadar ingiere. Si el origen de datos supera el regulador EPS, la recopilación de datos se retrasa. Los datos se siguen recopilando y, a continuación, se ingieren cuando el origen de datos deja de superar el regulador EPS. El valor predeterminado es de 5000.

La tabla siguiente describe los valores de parámetro específicos para recopilar sucesos de auditoría utilizando el método de recopilación de sucesos de prefijo de directorio:

Tabla 2. Parámetros específicos del origen de registro de la API REST de Amazon AWS S3 con el método Directory Prefix
Parámetro	Descripción
S3 Método de recopilación	Seleccione Utilizar un prefijo específico.
Nombre de grupo	El nombre del grupo AWS S3 donde se almacenan los archivos de registro.
Prefijo de directorio	La ubicación del directorio raíz en el grupo AWS S3 desde donde se recuperan los registros de CloudTrail ; por ejemplo, AWSLogs/<`AccountNumber`>/CloudTrail/<`RegionName`>/. Para extraer archivos del directorio raíz de un grupo, debe utilizar una barra inclinada (/) en la vía de acceso del archivo Prefijo de directorio . Nota: Al cambiar el valor de Prefijo de directorio se borra el marcador de archivo persistente. Todos los archivos que coinciden con el nuevo prefijo se descargan en la siguiente extracción. La vía de acceso del archivo Prefijo de directorio no puede empezar con una barra inclinada (/) a menos que solo se utilice la barra inclinada para recopilar datos de la raíz del grupo. Si se utiliza la vía de acceso del archivo Prefijo de directorio para especificar carpetas, no debe empezar la vía de acceso del archivo con una barra inclinada (por ejemplo, utilice folder1/folder2 en su lugar).

La tabla siguiente describe los parámetros que requieren valores específicos para recopilar sucesos de auditoría utilizando el método de recopilación de sucesos SQS:

Tabla 3. Amazon AWS S3 Parámetros específicos de origen de registro de protocolo de API REST con el método SQS
Parámetro	Descripción
S3 Método de recopilación	Seleccione SQS Event Notifications.
URL la cola SQS	La URL completa que comienza con `https://`, para la cola SQS que está configurada para recibir notificaciones de eventos ObjectCreated de S3.