Options de configuration du protocole Apache Kafka

IBM QRadar utilise le protocole Apache Kafka pour lire les flux de données d'événement à partir de rubriques d'un cluster Kafka qui utilise l'API Consumer. Une rubrique est une catégorie ou un nom de flux dans Kafka où les messages sont stockés et publiés. Le protocole Apache Kafka est un protocole sortant ou actif et peut être utilisé comme source de journal de passerelle via un type de source de journal personnalisé.

Le protocole Apache Kafka prend en charge des rubriques de presque toute échelle. Vous pouvez configurer plusieurs hôtes de collecte QRadar (EP/EC) afin qu'ils collectent auprès d'une seule rubrique ; par exemple, tous les pare-feu. Pour plus d'informations, voir la documentation Kafka (http://kafka.apache.org/documentation/).

Le tableau suivant décrit les paramètres spécifiques au protocole Apache Kafka :

Tableau 1. Paramètres du protocole Apache Kafka
Paramètre	Descriptif
Identificateur de source de journal	Entrez un nom unique pour la source de journal. L'identificateur de source de journal peut être n'importe quelle valeur valide et n'a pas besoin de faire référence à un serveur spécifique. Il peut également s'agir de la même valeur que le Nom de la source de journal. Si vous avez configuré plusieurs sources de journal Apache Kafka , veillez à leur attribuer un nom unique.
Liste des serveurs d'amorçage	Le `<hostname/ip>:<port>` du ou des serveur(s) d'amorçage. Plusieurs serveurs peuvent être spécifiés dans une liste séparée par des virgules, comme dans cet exemple : `hostname1:9092,1.1.1.1:9092`, `[fdff:ffff:ffff:ffff:ffff:ffff:ffff:ffff]:9092`.
Groupe de consommateurs	Chaîne ou libellé unique qui identifie le groupe de consommateurs auquel appartient cette source de journal. Chaque enregistrement qui est publié dans une rubrique Kafka est fourni à une instance de consommateur dans chaque groupe de consommateurs abonné. Kafka utilise ces libellés pour équilibrer la charge des enregistrements sur toutes les instances de consommateur d'un groupe.
Méthode d'abonnement aux rubriques	Méthode utilisée pour s'abonner à des rubriques Kafka. Utilisez l'option Liste des rubriques pour spécifier une liste spécifique de rubriques. Utilisez l'option Correspondance de modèles Regex pour spécifier une expression régulière à mettre en correspondance avec d'autres rubriques disponibles.
Liste des rubriques	Liste des noms de rubrique auxquels s'abonner. La liste doit être séparée par des virgules ; par exemple: `Topic1,Topic2,Topic3` Cette option s'affiche uniquement lorsque Liste des rubriques est sélectionné pour l'option Méthode d'abonnement aux rubriques.
Modèle de filtre de rubrique	Expression régulière correspondant aux rubriques auxquelles s'abonner. Cette option s'affiche uniquement lorsque Correspondance de modèles Regex est sélectionné pour l'option Méthode d'abonnement de rubrique.
Utiliser l'authentification SASL	Cette option affiche les options de configuration de l'authentification SASL. Lorsqu'elle est utilisée sans authentification du client, vous devez placer une copie du certificat du serveur dans le répertoire /opt/qradar/conf/trusted_certificates/.
Mécanisme SASL	Sélectionnez le mécanisme SASL compatible avec votre configuration Kafka : `PLAIN` `SCRAM-SHA-256` `SCRAM-SHA-512`
Nom d'utilisateur SASL	Nom d'utilisateur utilisé pour l'authentification SASL.
Mot de passe SASL	Mot de passe utilisé pour l'authentification SASL.
Utiliser SSL	Sélectionnez cette option pour activer le chiffrement SSL (TLS) si votre configuration Kafka le prend en charge ou le requiert.
Utiliser l'authentification client	Affiche les options de configuration de l'authentification du client. Vous pouvez activer cette option uniquement si vous activez le paramètre Utiliser SSL et utilisez SSL (TLS) pour l'authentification et le transfert de données.
Protocoles TLS	Les versions de TLS autorisées pour ce protocole. Les clients doivent envoyer une requête en utilisant la même version que celle sélectionnée pour le serveur. TLSv1.3 est pris en charge par la version QRadar 7.5.0 UP5 et les versions ultérieures.
Type de magasin de clés / magasin de clés de confiance	Format du fichier archive de votre type de magasin de clés et type de magasin de clés de confiance. Les options suivantes sont disponibles pour le format du fichier archive : JKS PKCS12
Nom de fichier du magasin de clés de confiance	Nom du fichier de clés de confiance. Le fichier de clés de confiance doit être placé dans /opt/qradar/conf/trusted_certificates/kafka/. Le fichier contient le nom d'utilisateur et le mot de passe.
Nom du fichier de magasin de clés	Nom du fichier de clés. Le fichier de clés doit être placé dans /opt/qradar/conf/trusted_certificates/kafka/. Le fichier contient le nom d'utilisateur et le mot de passe.
Utiliser comme source de journal de passerelle	Cette option permet aux événements collectés de passer par le moteur QRadar Traffic Analysis et de détecter automatiquement les sources de journal appropriées.
Modèle d'identificateur de source de journal	Définit un identificateur de source de journal personnalisé pour les événements en cours de traitement, si la case Utiliser comme source de journal de passerelle est cochée. Les paires clé-valeur sont utilisées pour définir l'identificateur de source de journal personnalisé. La clé est la chaîne de format d'identificateur, qui est la source ou la valeur d'origine qui en résulte. La valeur est le modèle de regex associé utilisé pour évaluer la charge actuelle. Cette valeur prend également en charge les groupes de capture qui peuvent être utilisés pour personnaliser davantage la clé. Plusieurs paires de valeurs clés sont définies en tapant chaque modèle sur une nouvelle ligne. Les modèles multiples sont évalués dans l'ordre dans lequel ils sont répertoriés. Lorsqu'une correspondance est trouvée, un identificateur de source de journal personnalisé s'affiche. Les exemples suivants montrent plusieurs fonctions de paire valeur-clé. Schémas `VPC=\sREJECT\sFAILURE` `$1=\s(REJECT)\sOK` `VPC-$1-$2=\s(ACCEPT)\s(OK)` Evénements `{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}` ID source de journal personnalisé résultant VPC-ACCEPT-OK
Afficher les options avancées	Afficher les options avancées facultatives pour la configuration Kafka . Les valeurs d'option avancées sont en vigueur, qu'elles soient affichées ou non.
Utilisation de l'extraction de contenu	Activez ce paramètre pour extraire le contenu et l'envoyer au pipeline d'événements. Ce paramètre identifie le contenu spécifié s'il se trouve dans les enregistrements de journal Kafka . Plusieurs expressions régulières peuvent être définies en entrant chaque modèle sur une nouvelle ligne. Lorsque plusieurs motifs d'extraction de contenu sont utilisés, ils sont évalués dans l'ordre jusqu'à ce qu'une correspondance soit trouvée et qu'un contenu extrait puisse être renvoyé. Cette extraction de contenu se produit avant les remplacements de caractères.
Expression régulière d'extraction de contenu	Expression régulière qui identifie le contenu spécifié dans les enregistrements de journal Kafka afin qu'il puisse être envoyé à QRadar. Cette expression doit inclure un groupe de capture et utilise le premier groupe de capture comme nouveau contenu.
Utiliser l'analyse syntaxique prédictive	Si vous activez ce paramètre, un algorithme extrait les modèles d'identificateur de source de journal et extrait les contenus des événements sans exécuter l'expression régulière pour chaque événement, ce qui augmente la vitesse d'analyse. Dans de rares cas, l'algorithme peut faire des prédictions incorrectes. Activez l'analyse prédictive uniquement pour les types de source de journal desquels vous prévoyez recevoir des taux d'événements élevés et nécessitant une analyse plus rapide.
Remplacement de séquence de caractères	Remplace les séquences de caractères littéraux spécifiques qui se trouvent dans le contenu de l'événement par des caractères réels. Une ou plusieurs des options suivantes sont disponibles : Caractère de retour à la ligne(CR LF) (\r\n) Caractère de saut de ligne (\n) Caractère de retour chariot (\r) Caractère de tabulation (\t) Caractère d'espacement (\s) Annuler l'échappement des données JSON Astuce: Sélectionnez cette option si vous souhaitez que la totalité du contenu soit en caractères d'échappement JSON après une extraction de contenu. Lorsque vous annulez l'échappement des messages JSON, tout caractère qui empêche l'analyse syntaxique est supprimé du message. Activez cette option lorsque vous souhaitez extraire des messages JSON qui sont imbriqués dans des objets JSON.
Kafka -Remplacement des propriétés du consommateur	Liste de paires `key=value` pouvant être utilisées pour fournir des propriétés de configuration spécifiques au consommateur Kafka . La liste utilise une paire par ligne. Par exemple, la `key=value` paire `session.timeout.ms=10000` configure le délai d'attente de session en millisecondes. Pour obtenir la liste des paires disponibles sur le site `key=value` , consultez la documentation sur la configuration du consommateur Kafka ( https://ibm.biz/kafkaconsumerconfigs ). Tous les paramètres entrés dans cette zone remplacent les paramètres précédents définis lors de la phase de configuration de la source de journal. Ces paramètres incluent, sans s'y limiter, les exemples suivants: `fetch.max.bytes` `group.id` `ssl.enabled.protocols` Vous ne pouvez pas entrer de propriétés de type de mot de passe avec des valeurs de secret dans cette zone. Ces propriétés incluent, sans s'y limiter, les exemples suivants: `ssl.key.password` `ssl.key.password` `ssl.keystore.password` `ssl.truststore.password` `sasl.jaas.config` `ssl.truststore.certificates` `ssl.keystore.certificate.chain` `ssl.keystore.key` Utilisez les zones Mot de passe de la clé privée, Mot de passe du magasin de clés de confiance, Mot de passe du magasin de clés, Mot de passe de la clé privéeou Mot de passe SASL pour entrer des propriétés de consommateur Kafka de type de mot de passe.
Régulation des EPS	Nombre maximal d'événements par seconde que QRadar ingère. Si votre source de données dépasse la régulation EPS, la collecte de données est retardée. Les données sont toujours collectées, puis elles sont ingérées lorsque la source de données cesse de dépasser le régulateur EPS.