Prometheus

Vous devez définir des sources de métriques dans le fichier de configuration de l'agent hôte configuration.yaml sous la forme d'une liste de noeuds finaux. Lorsque l'agent hôte d' Instana s s'exécute dans un environnement Kubernetes ( Kubernetes ), il détecte et recueille automatiquement les adresses IP et les ports des conteneurs des pods en cours d'exécution. Dans un environnement « Kubernetes », cette configuration doit être transmise à l'agent via la agent.configuration_yaml valeur. Si vous installez l'agent à l'aide de l'opérateur, ajoutez ensuite la configuration dans le fichier de ressource personnalisée YAMLinstana-agent.customresource.yaml , situé dans le répertoire spec.agent.configuration_yaml. Si vous installez l'agent à l'aide du tableau « Helm », transmettez la configuration via l'indicateur --set agent.configuration_yaml=<config>. Vous pouvez également définir la configuration dans le fichier values.yaml et la transmettre à la commande helm install en utilisant le drapeau -f.

Voir l'exemple de configuration suivant :

com.instana.plugin.prometheus:
  poll_rate: 15                              # Global polling interval in seconds (optional, default is 1 second)
  username: ''                               # Global (all) endpoints username/password configuration (optional)
  password: ''
  podConnectTimeout: 750                     # discovery TCP connect timeout in ms used during discovery request (optional, default is 750ms)
  podReadTimeout: 2500                       # discovery TCP read timeout in ms used during discovery request (optional, default is 2500ms)
  customMetricSources:
  - url: '/prometheus/endpoint/1'            # metrics endpoint, the IP and port are auto-discovered
    metricNameIncludeRegex: '^.'             # regular expression to filter metrics
    username: ''                             # endpoint specific username/password configuration
    password: ''
  - url: '/prometheus/endpoint/2'
    metricNameIncludeRegex: '^.'
  - url: '/metrics'                          # metrics endpoint, the IP and port are auto-discovered
    metricNameIncludeRegex: '^.'             # regular expression to filter metrics
    labels:                                  # labels are used to limit discovery with pods that match. labels are treated as a boolean AND
      planet: "mars"
      app: "rover"
 

Si vous souhaitez extraire des ressources Kubernetes contenant des annotations Prometheus, telles que prometheus.io/scrape, prometheus.io/port et prometheus.io/path, vous n'êtes pas obligé d'utiliser la customMetricsSources section pour cette ressource particulière si vous définissez le prometheusAnnotations champ sur strict dans la configuration Prometheus. Par exemple :

com.instana.plugin.prometheus:
  podConnectTimeout: 750                     # discovery TCP connect timeout in ms used during discovery request (optional, default is 750ms)
  podReadTimeout: 2500                       # discovery TCP read timeout in ms used during discovery request (optional, default is 2500ms)
  prometheusAnnotations: strict              # use prometheus annotations as defined, no metric source is required
 

Remarques :

• Pour les environnements d' Kubernetes, n'ajoutez pas les informations relatives à l'hôte et au port dans le url champ, et indiquez uniquement l'URL du point de terminaison des métriques URL, par exemple /prometheus/endpoint/metrics. Le capteur « Prometheus » ne surveille pas les points de terminaison spécifiés sous forme d'URL complètes, telles que https://prod-myapp.server.com/prometheus/metrics.

• Si vous n'utilisez pas d'annotations Prometheus, les définitions de port de conteneur ( containerPort ) de la spécification de déploiement du pod Kubernetes sont utilisées pour déterminer le port du point de terminaison des métriques.

• En utilisant une expression régulière dans la zone metricNameIncludeRegex , vous pouvez définir les métriques à capturer pour un noeud final de métrique spécifique.

• Le détecteur Prometheus dispose d'une prise en charge de l'authentification de base qui peut être définie au niveau global (tous les noeuds finaux) ou par un noeud final.

La configuration statique est utilisée pour les environnements nonKubernetes . Si vous souhaitez capturer des métriques Prometheus à partir de noeuds finaux locaux ou distants dans un environnement nonKubernetes , configurez la section customMetricSources dans le fichier <agent_install_dir>/etc/instana/configuration.yaml comme suit:

com.instana.plugin.prometheus:
  # Global polling interval in seconds (optional)
  poll_rate: 15                              # Default is 1 second
  username: ''                               # Global (all) endpoints username/password configuration (optional)
  password: ''
  customMetricSources:
  - url: 'http://localhost:8080/metrics'
    username: ''                             # endpoint specific username/password configuration
    password: ''
    metricNameIncludeRegex: '^sample_app_request'
  - url: 'http://223.58.1.10:9100/prometheus'
    metricNameIncludeRegex: '^sample_app_request'
    labels:                                  # labels are used to limit discovery with pods that match. labels are treated as a boolean AND
      planet: "mars"
      app: "rover"

 

À partir de la version 0.10.10 de l'agent hôte d' Instana ( 1.1.587 ), l'agent hôte prend en charge le remote_write point de terminaison « endpoint », ce qui signifie qu'il est capable de collecter des métriques et que celles-ci s'affichent soit sous la forme d'une entité « Prometheus », soit dans le cadre des métriques personnalisées du processus.

Pour activer le noeud final remote_write , configurez le fichier <agent_install_dir>/etc/instana/configuration.yaml comme suit:

com.instana.plugin.prometheus:
  remote_write:
    enabled: true
 

Remarques :

• Configurez l'émetteur (le composant qui envoie les métriques) comme indiqué dans la documentation relative à Prometheus remote_write.

• Le nœud final remote_write est disponible sur le port 42699 sous /prometheus/v1/receive. Par conséquent, l' URL s que vous devez configurer dans la configuration de l' Prometheus sont les suivantes http://<agent_ip>:42699/prometheus/v1/receive :

• Pour que Instana puisse analyser correctement les métriques, l'expéditeur doit envoyer les métadonnées. L'expéditeur est sélectionné par défaut dans « Prometheus »; veillez donc à ne pas désactiver cette option.

• Le service d'agent « Instana », disponible en option sur Kubernetes via le tableau de bord « Instana » ( Helm ), s'avère très utile lorsqu'il est associé à la remote_write solution « API ». Grâce au service de l'agent Instana, les données sont transmises à l'agent Instana qui s'exécute sur le même nœud Kubernetes, ce qui permet à l'agent Instana de remplir correctement les données de corrélation de l'infrastructure.

• Actuellement, l'authentification n'est pas prise en charge pour le noeud final remote_write . Par conséquent, ne configurez pas les options basic_auth et bearer_token (y compris bearer_token_file) de Prometheus dans l'expéditeur.

Vous pouvez activer le chiffrement « TLS » sur l'agent hôte. Toutes les données envoyées au point remote_write de terminaison sont alors chiffrées à l'aide d' TLS.

Pour plus d'informations sur la configuration du chiffrement « TLS », consultez la section « Activation du chiffrement « TLS ».

Pour la corrélation des infrastructures sur les hôtes d' Linux, consultez le point de terminaison API de l'agent HTTP.

Vous pouvez mesurer l'augmentation d'un compteur en le comparant à la valeur précédente. Cependant, increase l'agrégation de l'interface utilisateur d' Prometheus, qui est adaptée à ce type de mesure, peut donner des résultats erronés, car elle ne prend pas en compte les augmentations survenant immédiatement après la remise à zéro d'un compteur au sein d'un même compartiment. Pour plus d'informations à ce sujet Counter, consultez la documentation d' Prometheus.

Delta counters résoudre ce problème en mesurant avec précision l'augmentation de valeur, tout en tolérant les réinitialisations du compteur. Pour chaque indicateur, un indicateur différentiel correspondant est généré. Par exemple, une contre-métrique foo issue du point de terminaison « Prometheus » génère les deux métriques suivantes :

• metrics.counters.foo
• metrics.delta_counters.foo

La génération de ces indicateurs peut être configurée dans le fichier de configuration configuration.yaml :

com.instana.plugin.prometheus:
---
sendCounterMetrics: true
sendDeltaCounterMetrics: true
 

Les deux Counters options Delta counters sont activées par défaut. Delta countersSi vous n'en avez pas besoin, vous pouvez désactiver Counters cette fonction en configurant le paramètre suivant :

sendCounterMetrics: false

Pour créer un canal d'alerte « Prometheus Alertmanager Webhook », cliquez sur Paramètres > Paramètres généraux > Événements et alertes > Canaux d'alerte > Ajouter un canal d'alerte dans l'interface utilisateur d' Instana, puis cliquez sur « Prometheus Alertmanager Webhook ».

Instana envoie des alertes via ce canal d'alerte sous forme de requêtes HTTP POST au récepteur Alertmanager Prometheus Webhook configuré, par exemple Alert Snitch ou SNMP Notifier.

Le projet « SNMP Notifier » transmet les alertes d' Prometheus, sous forme de traps SNMP, à tout récepteur SNMP configuré.

Instana ne fournit pas d'image pour le notificateur SNMP dans le registre d'images Instana. Pour plus d'informations, suivez les instructions fournies dans SNMP Notifier. Pour un exemple d'installation d'un notificateur « SNMP », consultez la section « Exécuter le notificateur « SNMP » » à l'adresse Kubernetes.

Type de problème de surveillance : prometheus_remote_write_high_delay

Les métriques Prometheus qui sont ingérées à partir du nœud final remote_write sont reçues avec un retard important. Ce problème entraîne des alertes potentiellement retardées et rend plus difficile la corrélation des métriques provenant d'autres sources.

Optimisez la configuration de Prometheus remote_write . Plus précisément, ajoutez le paramètre batch_send_deadline comme suit, ce qui limite le délai à 1 seconde:

remote_write:
  - url: "http://xxx.xxx.xxx.xxx:42699/prometheus/v1/receive"
    queue_config:
      batch_send_deadline: 1s
 

Pour plus d'options de configuration, voir le manuel Prometheus.

Type de problème de surveillance : prometheus_metric_parse_error

Prometheus les métriques récupérées à partir d'un point de terminaison contiennent des informations qui ne sont pas conformes à la spécification des métriques Prometheus. Ce problème peut potentiellement empêcher le traitement de certaines métriques Prometheus du point de terminaison. Utilisez les informations sur le problème de surveillance pour déterminer la cause du problème et corriger le point de terminaison prometheus.