Apache Kafka Observability
Apache Kafka Monitoring et gestion des performances
Apache Kafka est une plateforme en code source ouvert de diffusion en continu de données. Grandement utilisée, elle fournit des pipelines de données à débit élevé. De ce fait, Instana a inclus l'intégralité de Kafka Monitoring dans notre solution composée d'Infrastructure Monitoring et d'Application Monitoring. Instana découvre toutes les instances Kafka présentes dans l'environnement, comprend les dépendances et les interactions entre le cluster et ses serveurs, et commence automatiquement à surveiller la santé et les performances de chaque instance.
Pour aider les équipes DevOps à optimiser les clusters Kafka, Instana applique l'automatisation et l'intelligence artificielle aux performances et au contrôle de l'état de santé de Kafka, y compris la détection prédictive des problèmes et l'analyse des causes premières reposant sur l'IA. Instana vous permet de mener à bien vos opérations sans disposer d'une grande expertise de Kafka.
Contrôle des performances et de l'état de santé de Kafka
Instana surveille les indicateurs clés de performance (KPI) de Kafka au niveau des composants et des applications pour chaque instance. Les KPI Kafka permettent de contrôler en temps réel l'état de santé de chaque instance et cluster. Les KPI Service, eux, aident à mieux appréhender les performances de Kafka dans tout l'environnement.
L'IA d'Instana fait appel à des analyses statistiques avancées, un ensemble de règles de base Kafka et un apprentissage automatique appliqué afin de déterminer l'état de santé en temps réel de chaque instance et cluster.
Contrôle des performances et de la configuration de Kafka
Le détecteur Apache Kafka d'Instana regroupe tous les indicateurs critiques en vue de déterminer l'état de santé de chaque instance Kafka, ainsi que les performances de tous les pipelines de données du cluster. Le suivi des données de configuration Kafka permet à Instana de contrôler les changements apportés aux instances associées et de les mettre en corrélation avec des problèmes de performance globale.
Les informations sur les performances et la configuration de Kafka sont résumées au sein d'un tableau de bord unique qui regroupe toutes les données en lien avec la configuration, l'infrastructure, les niveaux de service et les transactions. Ce dashboard permet aux équipes Ops et DevOps informatiques de consulter toutes les données Kafka pertinentes en un seul endroit, ce qui facilite la résolution des problèmes et l'optimisation des performances.
Le contrôle des performances de Kafka s'articule autour des indicateurs pertinents pour ses interactions avec les pipelines de données et les applications dépendantes qui se trouvent dans et autour du cluster Kafka. Instana identifie et collecte automatiquement l'ensemble des indicateurs pertinents. Les différentes captures d'écran ci-dessous vous montrent à quoi ressemble un tableau de bord Kafka sur Instana :
Kafka Monitoring d'Instana comprend trois types de données : la configuration tracée, les indicteurs de performance et les signatures de santé.
Configuration tracée
- Version
Indicateurs de performance
- Trafic du courtier
- Temps d'attente des demandes vs débit
- Défaillances du courtier
- Mesures de l'état du courtier
- Délai d'inactivité moyen
- Partitions
Vidage des journaux
Signatures de santé
- Nombre de contrôleurs actifs
- isrShrinks, isrExpansions
- Choix d'un élément principal
- Choix d'un élément principal incorrect
- Inactivité du processeur réseau
- Partitions hors ligne
- Inactivité du gestionnaire de demandes
Partitions sous-répliquées
Grâce à sa nature à code source ouvert, il existe de nombreuses solutions pour exploiter Apache Kafka dans des contextes cloud et sur site. Instana prend en charge les stratégies de déploiement les plus courantes, notamment :
- Installation sur du matériel physique ou virtuel dédié (Windows, Linux)
- Installation dans des environnements Kubernetes sur site ou gérés
- Installation dans des environnements OpenShift sur site ou gérés
- Installation dans des environnements Pivotal Cloud Foundry sur site ou gérés
- Services Kafka hébergés sur Amazon MSK (Amazon Managed Streaming for Apache Kafka)
De plus, Instana prend en charge plusieurs distributions d'Apache Kafka, notamment :
- Vanilla Apache Kafka
- Confluent Kafka
- Cloudera Kafka
- Amazon MSK