Azure Data Factory de surveillance
Instana offre une surveillance complète de votre infrastructure Azure Data Factory, vous garantissant une visibilité de bout en bout sur votre environnement. Une fois l'agent hôte d' Instana s installé, le capteur d' Azure Data Factory est automatiquement déployé et installé. Vous pouvez consulter les indicateurs d'infrastructure liés à l' Azure Data Factory e dans l'interface utilisateur d' Instana.
Pour plus d'informations, consultez la page Instana host agent.
Versions prises en charge
Instana prend en charge la version 2 d' Azure Data Factory.
Configuration du capteur « Azure Data Factory »
Pour surveiller votre Azure Data Factory, vous devez d'abord activer le capteur « Azure » dans le fichier de <agentinstall_dir>/etc/instana/configuration.yaml l'agent comme suit. Pour plus d'informations, voir Installation.
com.instana.plugin.azure:
enabled: true
subscription: "[Your-Subscription-Id]"
tenant: "[Your-Tenant-Id]"
principals:
- id: "[Your-Service-Principal-Account-Id]"
secret: "[Your-Service-Principal-Secret]"
Pour configurer le capteur « Azure Data Factory » via le fichier de <agentinstall_dir>/etc/instana/configuration.yamlconfiguration de l'agent, utilisez la configuration suivante :
com.instana.plugin.azure.datafactory:
enabled: false # Valid values: true, false. Enabled (true) by default
include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)
exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)
include_resource_groups: # Comma separated list of resource groups (e.g. rg_prod,rg_staging)
exclude_resource_groups: # Comma separated list of resource groups (e.g. rg_dev,rg_test)
Vous pouvez désactiver le capteur « Azure Data Factory » et filtrer les données par balises et groupes de ressources.
Désactivation du capteur
Pour désactiver la surveillance des services Azure Data Factory, utilisez la configuration suivante :
com.instana.plugin.azure.datafactory:
enabled: false
Filtrage par définition de balises et de groupes de ressources
Vous pouvez définir plusieurs balises et groupes de ressources, séparés par une virgule. Les balises doivent être définies en tant que paires clé-valeur séparées par un signe deux-points (:). Pour configurer facilement, définissez les balises et les groupes de ressources que vous souhaitez inclure dans la reconnaissance ou exclure de la reconnaissance. Si vous définissez une balise ou un groupe de ressources dans les deux listes (inclusion et exclusion), la liste d'exclusion a une priorité plus élevée. Si vous ne souhaitez pas filtrer les services, vous ne devez pas définir la configuration. Vous n'avez pas besoin de définir toutes les valeurs pour activer le filtrage.
Pour inclure des services par balises dans la reconnaissance, utilisez la configuration suivante:
com.instana.plugin.azure.datafactory:
include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)
Pour exclure des services par balises de la reconnaissance, utilisez la configuration suivante:
com.instana.plugin.azure.datafactory:
exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)
Pour inclure des services par groupes de ressources dans la reconnaissance, utilisez la configuration suivante:
com.instana.plugin.azure.datafactory:
include_resource_groups: # Comma separated list of resource groups (e.g. rg_prod,rg_staging)
Pour exclure des services par groupes de ressources de la reconnaissance, utilisez la configuration suivante:
com.instana.plugin.azure.datafactory:
exclude_resource_groups: # Comma separated list of resource groups (e.g. rg_dev,rg_test)
Affichage des mesures
Pour afficher les métriques, procédez comme suit:
- Dans la barre latérale de l'interface utilisateur d' Instana, sélectionnez « Infrastructure ».
- Cliquez sur un hôte surveillé spécifique.
Vous pouvez voir un tableau de bord hôte avec toutes les métriques collectées et les processus surveillés.
Les métriques sont extraites toutes les minutes, ce qui correspond à la résolution fournie par Azure pour la surveillance de ces services.
Données de configuration
| Détails de la fabrique | Description |
|---|---|
| Nom | Nom de la fabrique |
| Groupe de ressources | Groupe de ressources de la fabrique |
| Emplacement | Emplacement de la fabrique |
| ID abonnement | ID d'abonnement de la fabrique |
| Type | Le type de la ressource |
| Etat | Etat de la fabrique |
| Version | Version de la fabrique |
| Liste des pipelines | Liste de tous les pipelines de fabrique |
Métriques de performance
| Métrique | Nom | Unité | Agrégation | Description |
|---|---|---|---|---|
| Pipelines ayant abouti | ||||
| Nombre | pipelineSucceededRuns | Nombre | Total | Nombre total d'exécutions de pipeline ayant abouti dans une fenêtre de minute. |
| Pourcentage | pipelineSucceededRunsPercentage | Pourcentage | Moyenne | Pourcentage d'exécutions de pipeline réussies dans une fenêtre de minute. |
| Pipelines ayant échoué | ||||
| Nombre | pipelineFailedRuns | Nombre | Total | Nombre total d'exécutions de pipeline ayant échoué dans une fenêtre de minute. |
| Pourcentage | pipelineFailedRunsPercentage | Pourcentage | Moyenne | Pourcentage d'exécutions de pipeline ayant échoué dans une fenêtre de minute. |
| Pipelines annulés | ||||
| Nombre | pipelineCancelledRuns | Nombre | Total | Nombre total d'exécutions de pipeline qui ont été annulées dans une fenêtre de minute. |
| Pourcentage | pipelineCancelledRunsPercentage | Pourcentage | Moyenne | Pourcentage d'exécutions de pipeline annulées dans une fenêtre de minute. |
| Nombre total de pipelines | ||||
| Nombre | pipelineTotalRuns | Nombre | Total | Nombre total d'exécutions de pipeline calculé comme la somme des exécutions ayant abouti, échoué et annulées dans une fenêtre de minute. |
| Pipelines | ||||
| Temps écoulé | pipelineElapsedTimeRuns | Nombre | Total | Nombre de fois, dans une fenêtre de minute, qu'un pipeline s'exécute plus longtemps que la durée prévue définie par l'utilisateur. |
| Activités réussies | ||||
| Nombre | activitySucceededRuns | Nombre | Total | Nombre total d'exécutions d'activité ayant abouti dans une fenêtre de minute. |
| Pourcentage | activitySucceededRunsPercentage | Pourcentage | Moyenne | Le pourcentage d'activité réussie s'exécute dans une fenêtre de minute. |
| Activités ayant échoué | ||||
| Nombre | activityFailedRuns | Nombre | Total | Nombre total d'exécutions d'activité ayant échoué dans une fenêtre de minute. |
| Pourcentage | activityFailedRunsPercentage | Pourcentage | Moyenne | Pourcentage d'exécutions d'activité ayant échoué dans une fenêtre de minute. |
| Activités annulées | ||||
| Nombre | activityCancelledRuns | Nombre | Total | Nombre total d'exécutions d'activité qui ont été annulées dans une fenêtre de minute. |
| Pourcentage | activityCancelledRunsPercentage | Pourcentage | Moyenne | Le pourcentage d'activités annulées s'exécute dans une fenêtre de minute. |
| Nombre total d'activités | ||||
| Nombre | activityTotalRuns | Nombre | Total | Nombre total d'exécutions d'activité calculé comme la somme des exécutions ayant abouti, échoué et annulées dans une fenêtre de minute. |
| Déclencheurs ayant abouti | ||||
| Nombre | triggerSucceededRuns | Nombre | Total | Nombre total d'exécutions de déclencheur ayant abouti dans une fenêtre de minute. |
| Pourcentage | triggerSucceededRunsPercentage | Pourcentage | Moyenne | Le pourcentage de déclenchements ayant abouti s'exécute dans une fenêtre de minute. |
| Déclencheurs ayant échoué | ||||
| Nombre | triggerFailedRuns | Nombre | Total | Nombre total d'exécutions de déclencheur ayant échoué dans une fenêtre de minute. |
| Pourcentage | triggerFailedRunsPercentage | Pourcentage | Moyenne | Pourcentage d'exécutions de déclencheur ayant échoué dans une fenêtre de minute. |
| Déclencheurs annulés | ||||
| Nombre | triggerCancelledRuns | Nombre | Total | Nombre total d'exécutions de déclencheur qui ont été annulées dans une fenêtre de minute. |
| Pourcentage | triggerCancelledRunsPercentage | Pourcentage | Moyenne | Pourcentage d'exécutions de déclencheur annulées dans une fenêtre de minute. |
| Nombre total de déclencheurs | ||||
| Nombre | triggerTotalRuns | Nombre | Total | Nombre total d'exécutions de déclencheur calculé comme la somme des exécutions ayant abouti, ayant échoué et ayant été annulées dans une fenêtre de minute. |
| Mémoire d'exécution | ||||
| Disponible | integrationRuntimeAvailableMemory | Octets | Total | Nombre total d'octets de mémoire disponibles pour l'exécution d'intégration auto-hébergée dans une fenêtre de minute. |
| Unité centrale d'exécution | ||||
| Pourcentage | integrationRuntimeCpuPercentage | Pourcentage | Total | Pourcentage d'utilisation de l'unité centrale pour l'environnement d'exécution d'intégration auto-hébergé dans une fenêtre de minute. |
| File d'attente d'exécution | ||||
| Longueur | integrationRuntimeQueueLength | Nombre | Total | Longueur totale de la file d'attente de l'environnement d'exécution d'intégration auto-hébergé dans une fenêtre d'une minute. |
| Unité centrale Airflow | ||||
| Pourcentage | airflowIntegrationRuntimeCpuPercentage | Pourcentage | Moyenne | Pourcentage d'utilisation de l'unité centrale pour l'environnement d'exécution d'intégration Airflow dans une fenêtre de minute. |
| Mémoire Airflow | ||||
| Pourcentage | airflowIntegrationRuntimeMemoryPercentage | Pourcentage | Moyenne | Pourcentage de mémoire disponible pour l'environnement d'exécution d'intégration Airflow dans une fenêtre de minute. |
| Tâches Airflow | ||||
| En cours d'exécution | airflowIntegrationRuntimeSchedulerTasksRunning | Nombre | Total | Nombre total de tâches planifiées en cours d'exécution dans le programme d'exécution d'intégration Airflow dans une fenêtre de minute. |
| En file d'attente | airflowIntegrationRuntimeExecutorQueuedTasks | Nombre | Total | Nombre total de tâches planifiées mises en file d'attente dans le programme d'exécution d'intégration Airflow dans une fenêtre de minute. |
| Opérateurs Airflow | ||||
| Réussite | airflowIntegrationRuntimeOperatorSuccesses | Nombre | Total | Nombre total de réussites de l'opérateur d'exécution d'intégration Airflow dans une fenêtre de minute. |
| Échec | airflowIntegrationRuntimeOperatorFailures | Nombre | Total | Nombre total d'échecs de l'opérateur d'exécution d'intégration Airflow dans une fenêtre de minute. |
| Déclencheurs Airflow | ||||
| Réussite | airflowIntegrationRuntimeTriggersSucceeded | Nombre | Total | Nombre total de déclencheurs d'exécution d'intégration Airflow qui ont abouti dans une fenêtre de minute. |
| En cours d'exécution | airflowIntegrationRuntimeTriggersRunning | Nombre | Total | Nombre total de déclencheurs d'exécution d'intégration Airflow qui s'exécutent dans une fenêtre de minute. |
| Échec | airflowIntegrationRuntimeTriggersFailed | Nombre | Total | Nombre total de déclencheurs d'exécution d'intégration Airflow qui ont échoué dans une fenêtre de minute. |
| Travaux Airflow | ||||
| Réussite | airflowIntegrationRuntimeJobStart | Nombre | Total | Nombre total de travaux d'exécution d'intégration Airflow ayant abouti dans une fenêtre de minute. |
| En cours d'exécution | airflowIntegrationRuntimeJobEnd | Nombre | Total | Nombre total de travaux d'exécution d'intégration Airflow qui s'exécutent dans une fenêtre de minute. |
| Échec | airflowIntegrationRuntimeJobHeartbeatFailure | Nombre | Total | Nombre total d'échecs du signal de présence du travail d'exécution d'intégration Airflow dans une fenêtre de minute. |
| Traitement du graphe acyclique orienté Airflow | ||||
| Dernière durée | airflowIntegrationRuntimeDAGProcessingLastDuration | Millisecondes | Moyenne | Durée moyenne du dernier traitement DAG dans l'environnement d'exécution d'intégration Airflow dans une fenêtre d'une minute. |