Surveillance de Kafka Connect
Le capteur « Kafka Connect » est automatiquement déployé et installé une fois que vous avez installé l'agent « Instana ».
Informations de support
Pour vous assurer que le capteur d' Kafka Connect s est compatible avec votre configuration actuelle, consultez les sections d'informations d'assistance suivantes :
Versions prises en charge et politique d'assistance
Le tableau suivant présente la dernière version prise en charge et la politique d'assistance :
| Technologie | Politique de support | Dernière version technologique | Dernière version prise en charge |
|---|---|---|---|
| Kafka Connect | A la demande | 7.9 | 7.9 |
Pour plus d'informations sur la politique d'assistance, consultez la section « Stratégie d'assistance pour les capteurs ».
Configuration
L'agent Instana détecte automatiquement l'instance Kafka Connect en mode distribué et, par conséquent, aucune configuration n'est requise.
L'agent utilisera le chemin de configuration fourni sur la ligne de commande à côté de connect-distributed.sh.
Configuration de la fréquence d'interrogation
Remarque : les capteurs Instana, Kafka Connect, 1.0.5 et les versions ultérieures permettent de configurer la fréquence d'interrogation afin de réduire le volume de données collectées. Cette fonctionnalité est prise en charge sur le backend Instana auto-hébergé à partir de la version 311.
Vous pouvez configurer la fréquence à laquelle l' Instana interroge Kafka Connect pour collecter des données et des métriques en utilisant le poll_rate paramètre dans le fichier de configuration.yaml l'agent, comme le montre l'exemple suivant :
com.instana.plugin.kafkaconnect:
poll_rate: 1 # Value is in seconds. Default value is 1 second.Worker Kafka - Collecte des métriques
Données de configuration
- Version
- Nom
- Nombre de courtiers
Métriques de performance
- Nombre de connecteurs
- Echec du démarrage du connecteur
- Echec du démarrage de la tâche
Rééquilibrage
| Métrique | Description | Granularité |
|---|---|---|
| Rééquilibrages terminés | Nombre total de rééquilibrages effectués par ce processus worker kafka.connect:type=connect-worker-rebalance-metrics,name=completed-rebalances-total. |
1 seconde |
| Temps moyen de rééquilibrage | Temps moyen en millisecondes nécessaire à ce processus worker pour effectuer le rééquilibrage kafka.connect:type=connect-worker-rebalance-metrics,name=rebalance-avg-time-ms. |
1 seconde |
| Rééquilibrage | Indique si cet agent est actuellement en train de rééquilibrer kafka.connect:type=connect-worker-rebalance-metrics,name=rebalancing. |
1 seconde |
| Temps depuis le dernier rééquilibrage | Durée, en millisecondes, depuis que cet agent a terminé le dernier rééquilibrage kafka.connect:type=connect-worker-rebalance-metrics,name=time-since-last-rebalance-ms. |
1 seconde |
Connecteur Kafka - Collecte des métriques
Données de configuration
- Nom du connecteur
- Classe du connecteur
- Type de connecteur
- Version du connecteur
Tâches du connecteur
| Métrique | Description | Granularité |
|---|---|---|
| Total | Nombre de tâches du connecteur kafka.connect:type=connect-worker-metrics,connector={name},name=connector-total-task-count. |
1 seconde |
| En cours d'exécution | Nombre de tâches en cours d'exécution du connecteur kafka.connect:type=connect-worker-metrics,connector={name},name=connector-running-task-count |
1 seconde |
| Échec | Nombre de tâches du connecteur qui n'ont pas abouti kafka.connect:type=connect-worker-metrics,connector={name},name=connector-failed-task-count. |
1 seconde |
| Détruite | Nombre de tâches du connecteur qui ont été détruites kafka.connect:type=connect-worker-metrics,connector={name},name=connector-destroyed-task-count. |
1 seconde |
| Suspendu | Nombre de tâches du connecteur qui ont été momentanément suspendues kafka.connect:type=connect-worker-metrics,connector={name},name=connector-paused-task-count. |
1 seconde |
| Non affecté | Nombre de tâches du connecteur qui n'ont pas été affectées kafka.connect:type=connect-worker-metrics,connector={name},name=connector-unassigned-task-count |
1 seconde |
Tâches
| Métrique | Description | Granularité |
|---|---|---|
| Nom | Nom de la tâche kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName}. |
1 seconde |
| Statut | Statut de la tâche du connecteur kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName},name=status. |
1 seconde |
| Ratio d'exécution | Fraction de temps passé par cette tâche à l'état d'exécution kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName},name=running-ratio. |
1 seconde |
| Ratio de pause | Fraction de temps passé par cette tâche en pause kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName},name=pause-ratio. |
1 seconde |
Tâches de récepteur
| Métrique | Description | Granularité |
|---|---|---|
| Nombre de partitions | Nombre de partitions de sujet affectées à cette tâche kafka.connect:type=sink-task-metrics,connector={connectorName},task={taskName},name=partition-count. |
1 seconde |
| Vitesse de lecture d'enregistrements | Nombre moyen d'enregistrements par seconde lus dans Kafka pour cette tâche kafka.connect:type=sink-task-metrics,connector={connectorName},task={taskName},name=sink-record-read-rate. |
1 seconde |
| Vitesse de transmission d'enregistrements | Nombre moyen d'enregistrements par seconde transmis à partir de cette tâche kafka.connect:type=sink-task-metrics,connector={connectorName},task={taskName},name=sink-record-send-rate. |
1 seconde |
Tâches source
| Métrique | Description | Granularité |
|---|---|---|
| Taux d'interrogation des enregistrements | Nombre moyen d'enregistrements par seconde interrogés par cette tâche kafka.connect:type=source-task-metrics,connector={connectorName},task={taskName},name=source-record-poll-rate. |
1 seconde |
| Vitesse d'écriture d'enregistrements | Nombre moyen d'enregistrements par seconde écrits dans Kafka par cette tâche kafka.connect:type=source-task-metrics,connector={connectorName},task={taskName},name=source-record-write-rate. |
1 seconde |
Cluster Kafka Connect - Collecte des métriques
Données de configuration
- Version
Noeuds workers
| Métrique | Description | Granularité |
|---|---|---|
| Echec du démarrage du connecteur | Nombre total de rééquilibrages effectués par ce processus worker kafka.connect:type=connect-worker-rebalance-metrics,name=connector-startup-failure-total. |
1 seconde |
| Echec du démarrage de la tâche | Nombre total de rééquilibrages effectués par ce processus worker kafka.connect:type=connect-worker-rebalance-metrics,name=task-startup-failure-total. |
1 seconde |
| Rééquilibrages terminés | Nombre total de rééquilibrages effectués par ce processus worker kafka.connect:type=connect-worker-rebalance-metrics,name=completed-rebalances-total. |
1 seconde |
| Temps moyen de rééquilibrage | Temps moyen en millisecondes nécessaire à ce processus worker pour effectuer le rééquilibrage kafka.connect:type=connect-worker-rebalance-metrics,name=rebalance-avg-time-ms. |
1 seconde |
| Rééquilibrage | Indique si cet agent est actuellement en train de rééquilibrer kafka.connect:type=connect-worker-rebalance-metrics,name=rebalancing. |
1 seconde |
| Temps depuis le dernier rééquilibrage | Durée, en millisecondes, depuis que cet agent a terminé le dernier rééquilibrage kafka.connect:type=connect-worker-rebalance-metrics,name=time-since-last-rebalance-ms. |
1 seconde |
Connecteurs
| Métrique | Description | Granularité |
|---|---|---|
| Nom | Nom du connecteur kafka.connect:type=connect-worker-metrics,connector={name}. |
1 seconde |
| Nombre total de tâches | Nombre de tâches du connecteur kafka.connect:type=connect-worker-metrics,connector={name},name=connector-total-task-count. |
1 seconde |
| Tâches en cours d'exécution | Nombre de tâches en cours d'exécution du connecteur kafka.connect:type=connect-worker-metrics,connector={name},name=connector-running-task-count. |
1 seconde |
| Tâches ayant échoué | Nombre de tâches du connecteur qui n'ont pas abouti kafka.connect:type=connect-worker-metrics,connector={name},name=connector-failed-task-count. |
1 seconde |
| Tâches détruites | Nombre de tâches du connecteur qui ont été détruites kafka.connect:type=connect-worker-metrics,connector={name},name=connector-destroyed-task-count. |
1 seconde |
| Tâches en pause | Nombre de tâches du connecteur qui ont été momentanément suspendues kafka.connect:type=connect-worker-metrics,connector={name},name=connector-paused-task-count. |
1 seconde |
| Tâches non affectées | Nombre de tâches du connecteur qui n'ont pas été affectées kafka.connect:type=connect-worker-metrics,connector={name},name=connector-unassigned-task-count. |
1 seconde |