Opzioni di configurazione del protocollo API REST di Amazon AWS S3

Il protocollo API REST di Amazon AWS S3 è un protocollo in uscita attivo che raccoglie i registri AWS CloudTrail dai bucket Amazon S3 .

Nota: è importante assicurarsi che non vi siano dati mancanti quando si raccolgono i log da Amazon S3 da utilizzare con un DSM personalizzato o altre integrazioni non supportate. Poiché le API S3 restituiscono i dati, tutti i file devono essere in ordine alfabetico crescente quando viene elencato il percorso completo. Assicurarsi che il nome percorso completo includa una data e un'ora complete in formato ISO9660 (zeri iniziali in tutti i campi e un formato data YYYY - MM - DD).

Considerare il percorso del seguente file:

<Name>test-bucket</Name><Prefix>MyLogs/</Prefix><Marker>MyLogs/2018-8-9/2018-08-09T23-5925.955097.log.g</Marker><MaxKeys>1000</MaxKeys><IsTruncated>false</IsTruncated></ListBucketResult>

Il nome completo del file nell'indicatore è MyLogs/2018-8-9/2018-08-09T23-59-25.955097.log.gz e il nome della cartella viene scritto come 2018-8-9 invece di 2018-08-09. Questo formato di data causa un problema quando vengono presentati i dati per il 10 settembre 2018. Quando è ordinato, la data viene visualizzata come 2018-8-10 e i file non vengono ordinati cronologicamente:

2018-10-1

2018-11-1

2018-12-31

2018-8-10

2018-8-9

2018-9-1

Dopo che i dati per il 9 agosto 2018 arrivano su IBM QRadar, non vedrai più i dati fino al 1 ° settembre 2018 perché gli zeri iniziali non erano utilizzati nel formato data. Dopo settembre, i dati non saranno più visibili fino al 2019. Gli zeri iniziali vengono utilizzati nella data (ISO 9660), quindi questo problema non si verifica.

Utilizzando gli zeri iniziali, i file e cartelle vengono ordinati cronologicamente:

2018-08-09

2018-08-10

2018-09-01

2018-10-01

2018-11-01

2018-12-01

2018-12-31

Limitazione

Un'origine log può recuperare i dati da una sola regione, quindi utilizzare un'altra origine log per ciascuna regione. Includere il nome della cartella della regione nel percorso file per il valore Directory Prefix quando si utilizza il metodo di raccolta eventi Prefisso directory per configurare l'origine log.

La seguente tabella descrive i valori di parametro comuni per raccogliere gli eventi di controllo utilizzando il metodo di raccolta Prefisso di directory o il metodo di raccolta eventi SQS. Questi metodi di raccolta utilizzano il protocollo API REST Amazon AWS S3 .

Tabella 1. Amazon AWS S3 Parametri di origine log comuni del protocollo API REST con il metodo prefisso di directory o il metodo SQS
Parametro	Descrizione
Configurazione protocollo	Amazon AWS S3 API REST
Identificativo origine log	Immettere un nome univoco per l'origine log. L' Identificativo origine log può essere un qualsiasi valore valido e non è necessario fare riferimento a un server specifico. L' Identificativo origine log può avere lo stesso valore di Nome origine log. Se si dispone di più di un'origine log configurata per DSM, accertarsi di assegnare a ciascuno un nome univoco.
Metodo di autenticazione	ID chiave di accesso / Chiave segreta Autenticazione standard che può essere utilizzata da qualsiasi luogo. Per ulteriori informazioni sulla configurazione delle credenziali di protezione, vedi Configurazione delle credenziali di sicurezza per il tuo account utente AWS. Ruolo IAM istanza EC2 Se il tuo host gestito è in esecuzione su un'istanza AWS EC2 , la scelta di questa opzione utilizza il ruolo IAM dai metadati dell'istanza assegnati all'istanza per l'autenticazione. Non è richiesta alcuna chiave. Questo metodo funziona solo per gli host gestiti in esecuzione in un contenitore AWS EC2 .
Chiave di accesso	L'ID chiave di accesso generato quando sono state configurate le credenziali di sicurezza per l'account utente AWS . Se hai selezionato Access Key ID / Secret Key o Assume Ruolo IAM, viene visualizzato il parametro Access Key .
Chiave segreta	La chiave segreta generata quando sono state configurate le credenziali di protezione per l'account utente AWS . Se hai selezionato ID chiave di accesso / Chiave segreta o Assume Ruolo IAM, viene visualizzato il parametro Chiave segreta .
Assumere un ruolo IAM	Abilitare questa opzione eseguendo l'autenticazione con una chiave di accesso o con un ruolo IAM dell'istanza EC2 . Quindi, puoi temporaneamente assumere un ruolo IAM per l'accesso.
Assumere il ruolo ARN	L'ARN completo del ruolo da assumere. Deve iniziare con `arn:` e non può contenere spazi iniziali o finali o spazi all'interno dell'ARN. Se è stato abilitato Assume un ruolo IAM, viene visualizzato il parametro Assume Ruolo ARN .
Nome sessione di assunzione ruolo	Il nome della sessione del ruolo da assumere. Il valore predefinito è `QRadarAWSSession`. Lasciare il valore predefinito se non è necessario modificarlo. Questo parametro può contenere solo caratteri alfanumerici maiuscoli e minuscoli, caratteri di sottolineatura o uno dei seguenti caratteri: `=,.@-` Se è stato abilitato Assume un ruolo IAM, viene visualizzato il parametro Assume nome sessione ruolo .
Assume ID esterno ruolo	Un identificativo di cui potresti aver bisogno per assumere un ruolo in un altro account. Si ottiene questo valore dall'amministratore dell'account a cui appartiene il ruolo. Questo valore può essere qualsiasi stringa, come una passphrase, un GUID o un numero di account. Per ulteriori informazioni, vedi Come utilizzare un ID esterno quando si concede l'accesso alle tue risorse AWS a una terza parte (https://docs.aws.amazon.com/IAM/latest/UserGuide/id_roles_create_for-user_externalid.html). Se è stato abilitato Assume un ruolo IAM, viene visualizzato il parametro Assume ID esterno ruolo .
S3 Metodo di raccolta	SQS Event Notifications Eseguire il polling di una coda SQS che contiene notifiche ObjectCreated configurate nelle cartelle S3 di propria scelta. Quindi, scarica ed elabora i file a cui si fa riferimento nella notifica dal bucket S3 . È possibile utilizzare una singola coda o code separate per coprire più bucket e account. Questa decisione dipende dalla tua configurazione. Per ulteriori informazioni, consultare la Tabella 3. Utilizza un prefisso specifico I log all'interno della cartella specificata vengono elaborati. Per le origini log CloudTrail , il prefisso deve essere solo per un singolo account o regione. Per altre origini log, il prefisso deve puntare a una singola directory che contiene i file con data/ora ISO8601 all'inizio di ciascun nome file. La data/ora in ogni nome file garantisce che il protocollo raccolga nuovi eventi con questo metodo. Per ulteriori informazioni, consultare la Tabella 2.
Nome regione	La regione in cui si trova la coda SQS o il bucket AWS S3 . Esempio: us-east-1, eu-west-1, ap-northeast-3
Formato evento	Scegliere il formato degli eventi contenuti nei file. JSON AWS CloudTrail I file che contengono eventi formattati JSON per Amazon Cloud Trail (solo file.json.gz ). LINEBYLINE File di log non elaborati che contengono un record per riga. La compressione con gzip (.gz o .gzip) e zip (.zip) è supportata. Log di flusso AWS VPC File che contengono log di flusso VPC nati/OCSF AWS (solo file.txt.gz o gz.parquet ). Questa opzione invia i flussi alla scheda Attività di rete in QRadar. L'origine log configurata non visualizza un' Ora di visualizzazione ultimo evento perché l'output è dati di flusso. Log AWS Network Firewall File che contengono log di flusso o avvisi di firewall di rete AWS . Questa opzione invia i log di flusso alla scheda Attività di rete e invia i log di avviso come eventi alla scheda Attività di log in QRadar. Amazon AWS Network Firewall DSM analizza i log. Suggerimento: se il sistema non dispone della licenza per i flussi, utilizzare il processore LINEBYLINE in modo che DSM possa analizzare i log del firewall di rete AWS . W3C Da utilizzare con Cisco Cloud Web Services DSM (solo file.gz ). CSV ombrello Cisco Da utilizzare con Cisco Umbrella DSM (solo file.gz ). Apache Parquet Scegliere questa opzione per convertire i file Apache Parquet in eventi JSON (solo file.gz.parquet e .parquet ).
Nome host destinazione flusso	Il nome host del processore di flusso a cui vengono inviati i log di flusso del flusso VPC o AWS Network Firewall. Se si seleziona AWS VPC Flow Logs o AWS Network Firewall nel parametro Event Format , è possibile configurare questo parametro.
Porta di destinazione flusso	La porta del processore di flusso a cui vengono inviati i log di flusso del flusso VPC o del firewall di rete AWS . Se si seleziona AWS VPC Flow Logs o AWS Network Firewall nel parametro Event Format , è possibile configurare questo parametro.
Utilizza come origine log gateway	Selezionare questa opzione per consentire agli eventi raccolti di passare attraverso il motore di analisi del traffico QRadar e per consentire a QRadar di rilevare automaticamente una o più origini log. Quando si seleziona questa opzione, il Pattern identificativo origine log può essere utilizzato facoltativamente per definire un Identificativo origine log personalizzato per gli eventi in fase di elaborazione.
Modello identificativo origine log	Se si seleziona Utilizza come origine log del gateway, è possibile definire un identificativo di origine log personalizzato per gli eventi in fase di elaborazione e per le origini log da rilevare automaticamente quando applicabile. Se non si configura il Modello identificativo origine log, QRadar riceve gli eventi come origini log generiche sconosciute. Utilizzare le coppie chiave - valore per definire l'identificativo origine log personalizzato. La chiave è la stringa del formato identificativo, che è il valore di origine o di origine risultante. Il valore è il pattern regex associato utilizzato per valutare il payload corrente. Questo valore supporta anche i gruppi di cattura che possono essere utilizzati per personalizzare ulteriormente la chiave. Definire più coppie chiave - valore immettendo ciascun modello su una nuova linea. Più modelli vengono valutati nell'ordine in cui vengono elencati. Quando viene trovata una corrispondenza, viene visualizzato un identificativo origine log personalizzato. I seguenti esempi mostrano più funzioni di coppia chiave - valore. Pattern `VPC=\sREJECT\sFAILURE` `$1=\s(REJECT)\sOK` `VPC-$1-$2=\s(ACCEPT)\s(OK)` Eventi `{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}` Identificativo origine log personalizzato risultante VPC - ACCEPT - OK
Utilizza analisi predittiva	Se si abilita questo parametro, un algoritmo estrae i pattern di identificativi di origine log dagli eventi senza eseguire l'espressione regolare per ogni evento, aumentando la velocità di analisi. Suggerimento: in rare circostanze, l'algoritmo può effettuare previsioni non corrette. Abilitare l'analisi predittiva solo per i tipi di origine log che si prevede ricevano quantità elevate di eventi e che richiedono un'analisi più rapida.
Mostra opzioni avanzate	Selezionare questa opzione se si desidera personalizzare i dati evento.
Pattern file	Questa opzione è disponibile quando si imposta Mostra opzioni avanzate su Sì. Immettere un'espressione regolare per il modello di file che corrisponde ai file che si desidera estrarre; ad esempio .*?\.json\.gz.
Directory locale	Questa opzione è disponibile quando si imposta Mostra opzioni avanzate su Sì. La directory locale sul raccoglitore eventi di destinazione. La directory deve esistere prima che il protocollo API REST S3 di AWS tenti di richiamare gli eventi.
URL del punto finale S3	Questa opzione è disponibile quando si imposta Mostra opzioni avanzate su Sì. L' URL dell'endpoint utilizzato per interrogare l'API REST di AWS S3. Se l' URL dell'endpoint è diverso da quello predefinito, digitarlo URL Il valore predefinito è `https://s3.amazonaws.com`.
Utilizza accesso stile percorso S3	Forza le richieste S3 ad utilizzare l'accesso in stile percorso. Questo metodo è obsoleto per AWS. Tuttavia, potrebbe essere richiesto quando si utilizzano altre API compatibili con S3 . Ad esempio, lo stile percorso https://s3.region.amazonaws.com/bucket-name/key-name viene utilizzato automaticamente quando un nome bucket contiene un punto (.). Pertanto, questa opzione non è richiesta, ma può essere utilizzata.
Utilizza proxy	Se QRadar accede al servizio Web Amazon utilizzando un proxy, abilitare Utilizza proxy. Se il proxy richiede l'autenticazione, configurare i campi Server proxy, Porta proxy, Nome utente proxye Password proxy . Se il proxy non richiede l'autenticazione, configurare il campo IP proxy o nome host .
Ricorrenza	La frequenza con cui viene eseguito un sondaggio per eseguire la ricerca di nuovi dati. Se si utilizza il metodo di raccolta eventi SQS, SQS Event Notifications può avere un valore minimo di 10 (secondi). Poiché il polling della coda SQS può verificarsi più spesso, è possibile utilizzare un valore inferiore. Se si utilizza il metodo di raccolta eventi Prefisso directory, Utilizza un prefisso specifico ha un valore minimo di 60 (secondi) o 1M. Poiché ogni richiesta listBucket a un bucket AWS S3 comporta un costo per l'account proprietario del bucket, un valore di ricorrenza inferiore aumenta il costo. Immettere un intervallo di tempo per determinare la frequenza con cui viene eseguito il polling per i nuovi dati. L'intervallo di tempo può includere valori in ore (H), minuti (M) o giorni (D). Ad esempio, 2H = 2 ore, 15M = 15 minuti, 30 = secondi.
Limitazione EPS	Il numero massimo di eventi al secondo che QRadar ingerisce. Se l'origine dati supera il throttle EPS, la raccolta dati viene ritardata. I dati vengono ancora raccolti e vengono inseriti quando l'origine dati smette di superare il throttle EPS. Il valore predefinito è 5000.

La seguente tabella descrive i valori dei parametri specifici per raccogliere gli eventi di controllo utilizzando il metodo di raccolta eventi Prefisso directory:

Tabella 2. Amazon AWS S3 Parametri specifici dell'origine log del protocollo API REST con il metodo Prefisso directory
Parametro	Descrizione
S3 Metodo di raccolta	Selezionare Utilizza un prefisso specifico.
Nome bucket	Il nome del bucket AWS S3 in cui sono memorizzati i file di log.
Prefisso directory	L'ubicazione della directory root nel bucket AWS S3 da cui vengono richiamati i log CloudTrail ; ad esempio, AWSLogs/<`AccountNumber`>/CloudTrail/<`RegionName`>/. Per estrarre i file dalla directory root di un bucket, devi utilizzare una barra (/) nel percorso file Prefisso directory . Nota: La modifica del valore Prefisso directory elimina il contrassegno del file persistente. Tutti i file che corrispondono al nuovo prefisso vengono scaricati nel successivo pull. Il percorso file Prefisso directory non può iniziare con una barra (/) a meno che non venga utilizzata solo la barra per raccogliere i dati dalla root del bucket. Se il percorso file Prefisso directory viene utilizzato per specificare le cartelle, non è necessario iniziare il percorso file con una barra (ad esempio, utilizzare folder1/folder2 ).

La seguente tabella descrive i parametri che richiedono valori specifici per raccogliere gli eventi di controllo utilizzando il metodo di raccolta eventi SQS:

Tabella 3. Amazon AWS S3 Parametri specifici dell'origine log del protocollo API REST con il metodo SQS
Parametro	Descrizione
S3 Metodo di raccolta	Selezionare SQS Event Notifications.
URL della coda SQS	L' URL completo che inizia con `https://`, per la coda SQS impostata per ricevere le notifiche degli eventi ObjectCreated da S3.