Surveillance de Kafka

Toutes les métriques d' Kafka s collectées par Instana sont disponibles pour toutes les versions de Apache Kafka, Cloudera Kafka et Confluent Kafka, à l'exception de la métrique « Consumer group lag » et des métriques « Consumer/Producer Byte Rate/Throttling ». IBM® Event Streams, qui repose sur l' Apache Kafka open source, est pris en charge à partir de la version IBM Event Streams 11.0.4 ( IBM Event Streams Operator 3.0.5 ) et des versions ultérieures.

Le tableau suivant présente la dernière version prise en charge et la politique d'assistance :

Pour plus d'informations sur la politique d'assistance, consultez la section « Stratégie d'assistance pour les capteurs ».

Les métriques de retard de groupe de consommateurs sont disponibles pour les versions suivantes:

• Apache Kafka (avec Zookeeper) versions de 0.11.x.x à 3.9.0
• Apache Kafka (avec KRaft) versions disponibles sur 3.9.0
• Cloudera Kafka versions de 3.x.x à 4.1.x
• Confluent Kafka versions disponibles sur 3.3.x
• IBM Event Streams version 11.0.4 ( IBM Event Streams Operator 3.0.5 ) et versions ultérieures

Les indicateurs de débit et de régulation de la consommation/production ne sont disponibles que pour les clients Java Kafka et pour les versions suivantes :

• Apache Kafka versions disponibles sur 1.1.x
• Versions de Cloudera Kafka de 4.0.x à 4.1.x
• Confluent Kafka versions disponibles sur 4.1.x
• IBM Event Streams version 11.0.4 ( IBM Event Streams Operator v3.0.5 ) et versions ultérieures

Instana prend en charge le traçage côté client pour les langages et environnements d'exécution suivants :

• Java
• Go
• Node.js
• .Net Core

Instana prend en charge les protocoles de sécurité suivants d' Kafka pour la surveillance et la collecte de mesures de latence côté utilisateur :

• TEXTE CLAIR : Pas d'authentification ni de chiffrement (par défaut)
• SSL : SSL / TLS connexions cryptées avec authentification client facultative
• SASL_PLAINTEXT : authentification SASL (mécanisme PLAIN) sur des connexions en texte clair

Vous pouvez configurer la fréquence à laquelle l' Instana interroge Kafka pour collecter des données et des métriques en utilisant le poll_rate paramètre dans le fichier de configuration.yaml l'agent, comme le montre l'exemple suivant :

com.instana.plugin.kafka:
  poll_rate: 1 # value is in seconds. Default value is 1 second.

Si votre instance de broker Kafka utilise le protocole de sécurité SSL, configurez l'agent Instana via <agent_install_dir>/etc/instana/configuration.yaml afin d'activer la collecte des métriques de latence des consommateurs, comme illustré dans l'exemple suivant :

com.instana.plugin.kafka:
  sslTrustStore: '/path/to/truststore.jks'
  sslTrustStorePassword: 'kafkaTsPassword'
  sslKeyStore: '/path/to/sslKeyStoreFile.jks'
  sslKeyStorePassword: 'kafkaKsPassword'
 

Si votre instance du broker Kafka utilise le protocole de sécurité SASL_PLAINTEXT avec le mécanisme d'authentification PLAIN, configurez l'agent Instana via <agent_install_dir>/etc/instana/configuration.yaml pour activer la collecte des métriques de latence des consommateurs, comme illustré dans l'exemple suivant :

com.instana.plugin.kafka:
  saslUsername: 'kafkaUser'
  saslPassword: 'kafkaPassword'
 

Assurez-vous que les clés sont au format Keystore JKS ( Java ). Utilisez l'outil keytool pour créer les clés.

Si l'authentification via JMX est activée pour votre Kafka, vous devez configurer l'agent Instana en utilisant <agent_install_dir>/etc/instana/configuration.yaml pour authentifier votre JMX, comme indiqué dans l'exemple suivant :

com.instana.plugin.kafka:
  jmxUsername: ''
  jmxPassword: ''
  jmxPort: '' # default jmx port is 1099
 

Vous pouvez configurer le format des en-têtes de corrélation de trace d' Kafka, qui sont utilisés par les traceurs d' Instana. Pour plus d'informations, consultez la section « Configuration des en-têtes de corrélation des traces d' Kafka ».

Vous avez besoin des informations suivantes pour configurer un nœud d' Kafka :

• Version
• Zookeeper Connects (pour le mode Zookeeper) ou Controller Quorum Voters (pour le mode KRaft)
• ID du processus
• ID du noeud
• Sujets/Partitions

Le tableau suivant présente les détails des indicateurs de performance :

Vous avez besoin des informations suivantes pour configurer un cluster d' Kafka :

• Nom du cluster
• Zookeeper
• Noeuds (Nom, Version)
• Sujets/Partitions

Le tableau suivant présente les détails des indicateurs de performance :

Pour chaque capteur, une base de connaissances contenant des indicateurs de santé est évaluée en continu par rapport aux données reçues et sert à signaler des problèmes ou des incidents en fonction de leur impact sur les utilisateurs.

Les événements intégrés déclenchent des problèmes ou des incidents en cas de non-conformité des signatures de santé des entités, tandis que les événements personnalisés déclenchent des problèmes ou des incidents en fonction des seuils d'une métrique spécifique à une entité donnée.

Pour plus d'informations sur les événements intégrés pour les nœuds et les clusters d' Kafka, consultez la référence des événements intégrés.

Type de problème de surveillance : kafka_ssl_not_configured

Pour résoudre le problème de configuration d' SSL et configurer l'emplacement du magasin de certificats ainsi que le mot de passe d' Kafka SSL, consultez SSL / TLS Support.

Type de problème de surveillance : kafka_ssl_client_not_configured

Pour résoudre le problème lié à l'authentification client d' SSL et configurer l'authentification client d' Kafka SSL (emplacement du keystore et mot de passe), consultez SSL / TLS Support.

Type de problème de surveillance : kafka_invalid_jmx_credentials

Pour résoudre le problème lié à l'authentification d' JMX et configurer les identifiants d'authentification d' JMX, consultez la page « Prise en charge de l'authentification » à l'adresse JMX.