Opzioni di configurazione del protocollo Apache Kafka

IBM QRadar utilizza il protocollo Apache Kafka per leggere i flussi di dati di eventi dagli argomenti in un cluster Kafka che utilizza l'API Consumer. Un argomento è una categoria o un nome feed in Kafka in cui i messaggi vengono archiviati e pubblicati. Il protocollo Apache Kafka è un protocollo attivo o in uscita e può essere utilizzato come origine log del gateway utilizzando un tipo di origine log personalizzato.

Il protocollo Apache Kafka supporta argomenti di quasi qualsiasi scala. È possibile configurare più host di raccolta QRadar (EP/EC) per la raccolta da un singolo argomento; ad esempio, tutti i firewall. Per ulteriori informazioni, vedi la documentazione diKafka (http://kafka.apache.org/documentation/).

La seguente tabella descrive i parametri specifici del protocollo per il protocollo Apache Kafka :

Tabella 1. Parametri di protocollo Apache Kafka
Parametro	Descrizione
Identificativo origine log	Digitare un nome univoco per l'origine log. L' identificatore di origine log può essere qualsiasi valore valido e non ha bisogno di fare riferimento a un server specifico. Può essere anche lo stesso valore del Nome origine log. Se hai più di una origine log Apache Kafka configurata, assicurati di dare a ciascuno un nome univoco.
Elenco server Bootstrap	Il `< hostname/ip>: < port>` del server bootstrap (o server). Più server possono essere specificati in un elenco separato da virgole, come in questo esempio: `hostname1:9092,1.1.1.1:9092`.
Gruppo Consumer	Una stringa o un'etichetta univoche che identifica il gruppo di consumatori a cui questa origine log appartiene. Ogni record che viene pubblicato su un argomento Kafka viene consegnato a un'istanza di consumo all'interno di ogni gruppo di consumatori firmatari. Kafka utilizza queste etichette per caricare l'equilibrio dei record su tutte le istanze dei consumatori in un gruppo.
Metodo di sottoscrizione argomento	Il metodo utilizzato per la sottoscrizione di argomenti Kafka . Utilizzare l'opzione Elenco Argomenti per specificare un elenco specifico di argomenti. Utilizzare l'opzione Regex Pattern Matching per specificare un'espressione regolare da abbinare agli argomenti disponibili.
Elenco Argomenti	Un elenco di nomi argomento a cui sottoscrivere. L'elenco deve essere separato da virgole; ad esempio: `Topic1,Topic2,Topic3` Questa opzione viene visualizzata solo quando Elenco Argomenti viene selezionato per l'opzione Topic Subscription Method .
Modello Filtro Argomento	Un'espressione regolare per abbinare gli argomenti a cui sottoscrivere. Questa opzione viene visualizzata solo quando Regex Pattern Matching viene selezionato per l'opzione Topic Subscription Method .
Utilizza autenticazione SASL	Questa opzione visualizza le opzioni di configurazione di autenticazione SASL. Se utilizzato senza autenticazione client, è necessario inserire una copia del certificato server nella directory /opt/qradar/conf/trusted_certificates/ .
Meccanismo SASL	Seleziona il meccanismo SASL compatibile con la configurazione Kafka : `PLAIN` `SCRAM-SHA-256` `SCRAM-SHA-512`
Nome utente SASL	Il nome utente utilizzato per l'autenticazione SASL.
Password SASL	La password utilizzata per l'autenticazione SASL.
Utilizza SSL	Seleziona questa opzione per abilitare la codifica SSL (TLS) se la tua configurazione Kafka la supporta o la richiede.
Utilizza autenticazione client	Visualizza le opzioni di configurazione dell'autenticazione client. È possibile abilitare questa opzione solo se si abilita il parametro Utilizza SSL e si utilizza SSL (TLS) per l'autenticazione e il trasferimento dati.
Tipo di archivio chiavi / Trust	Il formato del file di archivio per il tuo tipo di memorizzazione chiave e truststore. Sono disponibili le seguenti opzioni per il formato del file di archivio: JKS PKCS12
Trust Store Filename	Il nome del file truststore. Il truststore deve essere collocato in /opt/qradar/conf/trusted_certificates/kafka/. Il file contiene username e password.
Nome archivio chiavi	Il nome del file di memorizzazione chiave. Il keystore deve essere posizionato in /opt/qradar/conf/trusted_certificates/kafka/. Il file contiene username e password.
Utilizza come fonte di registrazione gateway	Questa opzione consente agli eventi raccolti di passare attraverso il motore di analisi del traffico QRadar e di rilevare automaticamente le origini log appropriate.
Pattern Identificativo di origine log	Definisce un identificatore di origine log personalizzato per gli eventi che vengono elaborati, se viene selezionata la casella di checkbox Use As A Gateway Log Source . Le coppie di valore chiave vengono utilizzate per definire l'identificativo di origine log personalizzato. La chiave è la String Format String, ovvero il valore di origine o di origine risultante. Il valore è il modello regex associato che viene utilizzato per valutare il payload corrente. Questo valore supporta anche i gruppi di acquisizione che possono essere utilizzati per personalizzare ulteriormente la chiave. Più coppie di valore - chiave vengono definite digitando ogni modello su una nuova linea. Più pattern vengono valutati nell'ordine che vengono elencati. Quando viene trovata una corrispondenza, viene visualizzato un identificatore di origine log personalizzato. I seguenti esempi mostrano più funzioni di coppia chiave - valore. Pattern `VPC=\sREJECT\sFAILURE` `$1=\s(REJECT)\sOK` `VPC-$1-$2=\s(ACCEPT)\s(OK)` Eventi `{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}` Identificativo origine log personalizzato risultante VPC - ACCEPT - OK
Mostra opzioni avanzate	Mostra opzioni avanzate facoltative per la configurazione Kafka . I valori delle opzioni avanzate sono attivi indipendentemente dal fatto che siano visualizzati o meno.
Utilizza estrazione payload	Abilitare questo parametro per estrarre il payload e inviarlo alla pipeline di eventi. Questo parametro identifica il payload specificato se si trova in un punto qualsiasi all'interno dei record di log Kafka . È possibile definire più espressioni regolari immettendo ogni modello su una nuova riga. Quando vengono utilizzati più modelli di estrazione del payload, vengono valutati in ordine fino a quando non viene trovata una corrispondenza e può essere restituito un payload estratto. Questa estrazione del payload si verifica prima di qualsiasi sostituzione di caratteri.
Espressione regolare estrazione payload	Un'espressione regolare che identifica il payload specificato all'interno dei record di log Kafka in modo che possa essere inviato a QRadar. Questa espressione deve includere un gruppo di cattura e utilizza il primo gruppo di cattura come nuovo payload.
Utilizza analisi predittiva	Se si abilita questo parametro, un algoritmo estrae i pattern dell'identificativo di origine log ed estrae i payload dagli eventi senza eseguire la regex per ogni evento, aumentando la velocità di analisi. In rare circostanze, l'algoritmo può fare previsioni errate. Abilitare l'analisi predittiva solo per i tipi di origine log che si prevede ricevano quantità elevate di eventi e che richiedono un'analisi più rapida.
Sostituzione della sequenza di caratteri	Sostituisce specifiche sequenze di caratteri letterali che si trovano nel payload dell'evento con caratteri effettivi. Sono disponibili una o più delle seguenti opzioni: Personale di Newline (CR LF) (\r \n) Carattere di alimentazione della linea (\n) Carattere di ritorno del carrello (\r) Carattere Tab (\t) Carattere spaziale (\s) Annulla escape dei dati JSON Suggerimento: selezionare questa opzione se si desidera che l'intero payload sia JSON senza escape dopo qualsiasi estrazione del payload. Quando si annullano gli escape dei messaggi JSON, tutti i caratteri che impediscono l'analisi vengono rimossi dal messaggio. Abilitare questa opzione quando si desidera estrarre i messaggi JSON incorporati negli oggetti JSON.
Kafka Sovrascrittura proprietà consumer	Un elenco di coppie `key=value` che possono essere utilizzate per fornire specifiche proprietà di configurazione al consumer Kafka . L'elenco utilizza una coppia per riga. Ad esempio, la `key=value` coppia `session.timeout.ms=10000` configura il timeout della sessione in millesimi di secondo. Per un elenco delle coppie `key=value` disponibili, vedi la documentazione Kafka Consumer Configuration (https://ibm.biz/kafkaconsumerconfigs). I parametri immessi in questo campo sovrascrivono quelli precedenti impostati durante la fase di configurazione dell'origine log. Questi parametri includono, ma non sono limitati a, i seguenti esempi: `fetch.max.bytes` `group.id` `ssl.enabled.protocols` Non è possibile immettere proprietà di tipo password con valori segreti in questo campo. Queste proprietà includono, ma non sono limitate a, i seguenti esempi: `ssl.key.password` `ssl.key.password` `ssl.keystore.password` `ssl.truststore.password` `sasl.jaas.config` `ssl.truststore.certificates` `ssl.keystore.certificate.chain` `ssl.keystore.key` Utilizzare i campi Password chiave privata, Password truststore, Password keystore, Password chiave privatao Password SASL per immettere le proprietà del consumer Kafka del tipo di password.
EPS Throttle	Il numero massimo di eventi al secondo che QRadar ingerisce. Se l'origine dati supera il throttle EPS, la raccolta dati viene ritardata. I dati vengono ancora raccolti e vengono inseriti quando l'origine dati smette di superare il throttle EPS.