Optionen für die Apache Kafka -Protokollkonfiguration

IBM QRadar verwendet das Protokoll Apache Kafka , um Datenströme von Ereignisdaten aus Topics in einem Kafka Cluster zu lesen, der die Konsumenten-API verwendet. Ein Topic ist ein Kategorie-oder Feedname in Kafka , in dem Nachrichten gespeichert und veröffentlicht werden. Das Protokoll Apache Kafka ist ein abgehendes oder aktives Protokoll und kann mithilfe eines angepassten Protokollquellentyps als Gateway-Protokollquelle verwendet werden.

Das Protokoll Apache Kafka unterstützt Themen nahezu beliebiger Größe. Sie können mehrere QRadar -Sammlungshosts (EP/ECs) für die Erfassung aus einem einzigen Thema konfigurieren, z. B. aus allen Firewalls. Weitere Informationen finden Sie in der Kafka -Dokumentation (http://kafka.apache.org/documentation/).

In der folgenden Tabelle sind die protokollspezifischen Parameter des Protokolls Apache Kafka beschrieben:

Tabelle 1. Apache Kafka -Protokollparameter
Parameter	Beschreibung
Log Source Identifier (Protokollquellenkennung)	Geben Sie einen eindeutigen Namen für die Protokollquelle ein. Die Protokollquellenkennung kann ein beliebiger gültiger Wert sein und muss nicht auf einen bestimmten Server verweisen. Es kann auch denselben Wert wie der Protokollquellennamehaben. Wenn Sie mehrere konfigurierte Apache Kafka -Protokollquellen haben, stellen Sie sicher, dass Sie jedem einen eindeutigen Namen geben.
Bootstrap-Serverliste	`< hostname/ip>: < port>` des Bootstrap-Servers (oder der Bootstrap-Server). Mehrere Server können in einer durch Kommas getrennten Liste angegeben werden. Beispiel: `hostname1:9092,1.1.1.1:9092`.
Konsumentengruppe	Eine eindeutige Zeichenfolge oder Bezeichnung, die die Consumergruppe identifiziert, zu der diese Protokollquelle gehört. Jeder Datensatz, der in einem Kafka -Topic veröffentlicht wird, wird einer Konsumenteninstanz in jeder abonnierenden Konsumentengruppe zugestellt. Kafka verwendet diese Bezeichnungen, um die Datensätze auf alle Konsumenteninstanzen in einer Gruppe zu verteilen.
Topic-Subskriptionsmethode	Die Methode, die für die Subskription von Kafka -Topics verwendet wird. Verwenden Sie die Option Themen auflisten , um eine bestimmte Themenliste anzugeben. Verwenden Sie die Option Regex Pattern Matching , um einen regulären Ausdruck für den Abgleich mit verfügbaren Themen anzugeben.
Themenliste	Eine Liste der Topicnamen, die subskribiert werden sollen. Die Liste muss durch Kommas getrennt werden. Beispiel: `Topic1,Topic2,Topic3` Diese Option wird nur angezeigt, wenn Themen auflisten für die Option Themensubskriptionsmethode ausgewählt ist.
Themenfiltermuster	Ein regulärer Ausdruck, der den zu abonnierenden Themen entspricht. Diese Option wird nur angezeigt, wenn Regex Pattern Matching für die Option Topic Subscription Method ausgewählt ist.
SASL-Authentifizierung verwenden	Diese Option zeigt die Konfigurationsoptionen für die SASL-Authentifizierung an. Bei Verwendung ohne Clientauthentifizierung müssen Sie eine Kopie des Serverzertifikats im Verzeichnis /opt/qradar/conf/trusted_certificates/ ablegen.
SASL-Mechanismus	Wählen Sie den SASL-Mechanismus aus, der mit Ihrer Kafka -Konfiguration kompatibel ist: `PLAIN` `SCRAM-SHA-256` `SCRAM-SHA-512`
SASL-Benutzername	Der für die SASL-Authentifizierung verwendete Benutzername.
SASL-Kennwort	Das Kennwort, das für die SASL-Authentifizierung verwendet wird
SSL verwenden	Wählen Sie diese Option aus, um die SSL-Verschlüsselung (TLS) zu aktivieren, wenn Ihre Kafka -Konfiguration dies unterstützt oder erfordert.
Clientauthentifizierung verwenden	Zeigt die Konfigurationsoptionen für die Clientauthentifizierung an. Sie können diese Option nur aktivieren, wenn Sie den Parameter SSL verwenden aktivieren und SSL (TLS) für die Authentifizierung und Datenübertragung verwenden.
Keystore/Truststore-Typ	Das Archivdateiformat für Ihren Keystore-und Truststore-Typ. Die folgenden Optionen sind für das Archivdateiformat verfügbar: JKS PKCS12
Truststore-Dateiname	Der Name der Truststore-Datei. Der Truststore muss in /opt/qradar/conf/trusted_certificates/kafka/platziert werden. Die Datei enthält den Benutzernamen und das Kennwort.
Keystore-Dateiname	Der Name der Keystore-Datei. Der Keystore muss in /opt/qradar/conf/trusted_certificates/kafka/gespeichert werden. Die Datei enthält den Benutzernamen und das Kennwort.
Als Gateway-protokollquelle Verwenden	Diese Option ermöglicht es, dass erfasste Ereignisse die QRadar Traffic Analysis Engine durchlaufen und die entsprechenden Protokollquellen automatisch erkennen.
Protokollquellen-ID-Muster	Definiert eine angepasste Protokollquellenkennung für Ereignisse, die verarbeitet werden, wenn das Kontrollkästchen Als Gateway-Protokollquelle verwenden ausgewählt ist. Schlüssel/Wert-Paare werden verwendet, um die angepasste Protokollquellen-ID zu definieren. Der Schlüssel ist die ID-Formatzeichenfolge, die den resultierenden Quellen-oder Ursprungswert darstellt. Der Wert ist das zugehörige Muster für reguläre Ausdrücke, das zum Auswerten der aktuellen Nutzdaten verwendet wird. Dieser Wert unterstützt auch Erfassungsgruppen, die zur weiteren Anpassung des Schlüssels verwendet werden können. Mehrere Schlüssel/Wert-Paare werden definiert, indem jedes Muster in einer neuen Zeile eingegeben wird. Mehrere Muster werden in der Reihenfolge ausgewertet, in der sie aufgelistet sind. Wenn eine Übereinstimmung gefunden wird, wird eine angepasste Protokollquellen-ID angezeigt. Die folgenden Beispiele zeigen mehrere Schlüssel/Wert-Paarfunktionen. Muster `VPC=\sREJECT\sFAILURE` `$1=\s(REJECT)\sOK` `VPC-$1-$2=\s(ACCEPT)\s(OK)` Ereignisse `{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}` Resultierende ID der angepassten Protokollquelle VPC-AKZEPTIEREN-OK
Erweiterte Optionen einblenden	Zeigt optionale erweiterte Optionen für die Konfiguration von Kafka an. Die erweiterten Optionswerte sind wirksam, unabhängig davon, ob sie angezeigt werden oder nicht.
Nutzdatenextraktion verwenden	Aktivieren Sie diesen Parameter, um die Nutzdaten zu extrahieren und an die Ereignispipeline zu senden. Dieser Parameter gibt die angegebenen Nutzdaten an, wenn sie sich irgendwo in den Kafka -Protokollsätzen befinden. Sie können mehrere reguläre Ausdrücke definieren, indem Sie jedes Muster in einer neuen Zeile eingeben. Wenn mehrere Muster für Nutzdatenextraktion verwendet werden, werden diese nacheinander ausgewertet, bis eine Übereinstimmung gefunden wird und extrahierte Nutzdaten zurückgegeben werden können. Diese Extraktion der Nutzdaten erfolgt vor Zeichenersetzungen.
Regulärer Ausdruck für Nutzdatenextraktion	Ein regulärer Ausdruck, der die angegebenen Nutzdaten in den Kafka -Protokollsätzen angibt, damit sie an QRadargesendet werden können. Dieser Ausdruck muss eine Erfassungsgruppe enthalten und verwendet die erste Erfassungsgruppe als neue Nutzdaten.
Predictive Parsing verwenden	Wenn Sie diesen Parameter aktivieren, extrahiert ein Algorithmus Muster für Protokollquellen-IDs und extrahiert Nutzdaten aus Ereignissen, ohne den regulären Ausdruck für jedes Ereignis auszuführen, was die Parsinggeschwindigkeit erhöht. In seltenen Fällen kann der Algorithmus falsche Vorhersagen treffen. Aktivieren Sie das vorausschauende Parsing nur für Protokollquellentypen, von denen Sie erwarten, dass sie hohe Ereignisraten erhalten und ein schnelleres Parsing erfordern.
Ersetzung der Zeichenfolge	Ersetzt bestimmte Literalzeichenfolgen, die in den Ereignisnutzdaten enthalten sind, durch tatsächliche Zeichen. Eine oder mehrere der folgenden Optionen sind verfügbar: Zeilenvorschubzeichen (CR LF) (\r \n) Zeilenvorschubzeichen (\n) Rücklaufzeichen (\r) Tabulatorzeichen (\t) Leerzeichen (\s) Escapezeichen für JSON-Daten aufheben Tipp: Wählen Sie diese Option aus, wenn die gesamten Nutzdaten nach jeder Nutzdatenextraktion nicht mit Escapezeichen versehen werden sollen. Wenn Sie die Escapezeichen für JSON-Nachrichten aufheben, werden alle Zeichen, die das Parsing verhindern, aus der Nachricht entfernt. Aktivieren Sie diese Option, wenn Sie JSON-Nachrichten extrahieren möchten, die in JSON-Objekte eingebettet sind.
Kafka -Überschreibung der Konsumenteneigenschaften	Eine Liste von `key=value` -Paaren, die verwendet werden können, um bestimmte Konfigurationseigenschaften für den Kafka -Konsumenten bereitzustellen Die Liste verwendet ein Paar pro Zeile. Das `key=value` Paar `session.timeout.ms=10000` konfiguriert beispielsweise das Sitzungszeitlimit in Millisekunden. Eine Liste der verfügbaren `key=value` -Paare finden Sie in der Dokumentation zur Kafka -Konsumentenkonfiguration (https://ibm.biz/kafkaconsumerconfigs). Alle in diesem Feld eingegebenen Parameter überschreiben alle vorherigen Parameter, die während der Konfigurationsphase der Protokollquelle festgelegt wurden. Zu diesen Parametern gehören unter anderem die folgenden Beispiele: `fetch.max.bytes` `group.id` `ssl.enabled.protocols` Sie können in diesem Feld keine Kennworttypeigenschaften mit Werten für geheime Schlüssel eingeben. Zu diesen Eigenschaften gehören unter anderem die folgenden Beispiele: `ssl.key.password` `ssl.key.password` `ssl.keystore.password` `ssl.truststore.password` `sasl.jaas.config` `ssl.truststore.certificates` `ssl.keystore.certificate.chain` `ssl.keystore.key` Verwenden Sie die Felder Kennwort für privaten Schlüssel, Kennwort für Truststore, Kennwort für Keystore, Kennwort für privaten Schlüsseloder SASL-Kennwort , um die Eigenschaften des Kafka -Konsumenten für den Kennworttyp einzugeben.
EPS-Regulierung	Die maximale Anzahl von Ereignissen pro Sekunde, die QRadar einpflegt. Wenn Ihre Datenquelle die EPS-Regulierung überschreitet, wird die Datenerfassung verzögert. Die Daten werden weiterhin erfasst und dann aufgenommen, wenn die Datenquelle die EPS-Regulierung nicht mehr überschreitet.