Azure Databricks de surveillance

Modifier en ligne

Instana offre une visibilité de bout en bout sur votre environnement et prend en charge la surveillance d' Azure Databricks. Une fois l'agent hôte d' Instana s installé, le capteur d' Azure Databricks est automatiquement installé et activé. Vous pouvez consulter les indicateurs d'infrastructure liés à l' Azure Databricks ation dans l'interface utilisateur d' Instana.

Pour plus d'informations, consultez la page Instana host agent.

Remarque : pour plus d'informations sur les autres services pris en charge par l' Azure, consultez la section « Surveillance et instrumentation d' Microsoft® Azure à l'aide de l'agent Azure ».

Configuration du capteur « Azure Databricks »

Modifier en ligne

Pour configurer l' Azure Databricks, activez le capteur « Azure » dans le fichier de configuration configuration.yaml de l'agent, comme indiqué dans l'exemple suivant :

com.instana.plugin.azure:
  enabled: true
  subscription: "[Your-Subscription-Id]"
  tenant: "[Your-Tenant-Id]"
  principals:
    - id: "[Your-Service-Principal-Account-Id]"
      secret: "[Your-Service-Principal-Secret]"

Pour plus d'informations, voir Installation de l'agent Azure.

Pour configurer le capteur Azure Databricks, modifiez le fichier de configuration <agentinstall_dir>/etc/instana/configuration.yaml de l'agent comme indiqué dans l'exemple suivant :

com.instana.plugin.azure.databricks:
  enabled: false # Enabled (true) by default. Valid values: true, false
  unity_catalog_pollRate: 60 # Optional field. Unit is minute. This indicates the poll rate of Unity Catalog related data in minutes for all workspaces. The default poll rate is 60 minutes.
  workspaces:
    workspaceName1: # Your Azure Databricks workspace name
      databricks_workspace_access_token: '[Your-Databricks-Workspace-Access-Token]' # Required field.
      log_analytics_workspace_id: '[Your-Log-Analytics-Workspace-Id]' # Optional field.
      unity_catalog_pollRate: 60 # Optional field. Unit is minute. This indicates the poll rate of Unity Catalog related data in minutes for this workspace. The default poll rate is 60 minutes.
    workspaceName2: # Your Azure Databricks workspace name
      databricks_workspace_access_token: '[Your-Databricks-Workspace-Access-Token]' # Required field.
      log_analytics_workspace_id: '[Your-Log-Analytics-Workspace-Id]' # Optional field.
      unity_catalog_pollRate: 60 # Optional field. Unit is minute. This indicates the poll rate of Unity Catalog related data in minutes for this workspace. The default poll rate is 60 minutes.
Remarque :
  • Vous pouvez générer un jeton d'accès pour l'espace de travail Azure Databricks. Pour plus d'informations sur la génération du jeton d'accès, voir Authentification par jeton d'accès personnel Databricks.
  • L'ID de l'espace de travail est une zone facultative. Si la zone ID de l'espace de travail est renseignée, vous pouvez extraire d'autres indicateurs.
  • Vous pouvez consulter les indicateurs liés à Unity Catalog si vous activez Unity Catalog dans votre espace de travail. Pour plus d'informations, consultez la section « Activer un espace de travail pour le catalogue d' Unity ». Certaines des métriques du catalogue « Unity » sont extraites des journaux de diagnostic. Pour consulter ces indicateurs, activez les journaux de diagnostic pour la catégorie « Databricks Unity Catalog » et configurez l'option « Envoyer vers Log Analytics » dans le portail Azure pour l'espace de travail « Azure Databricks », puis configurez l'option log_analytics_workspace_id correspondante pour votre espace de travail dans le fichier de configuration.yaml l'agent. Pour plus d'informations, voir Configuration de la distribution des journaux de diagnostic.

Désactivation du capteur « Azure Databricks »

Modifier en ligne

Pour désactiver la surveillance du capteur « Azure Databricks », modifiez le fichier de configuration <agentinstall_dir>/etc/instana/configuration.yaml de l'agent comme indiqué dans l'exemple suivant :

com.instana.plugin.azure.databricks:
  enabled: false

Affichage des mesures

Modifier en ligne

Pour afficher les métriques, procédez comme suit:

  1. Dans le menu de navigation de l'interface utilisateur d' Instana, sélectionnez « Infrastructure ».
  2. Cliquez sur le bloc « Azure Databricks », regroupé sous la rubrique « Location», dans l'espace de travail « Azure Databricks ».

Vous pouvez consulter toutes les métriques collectées sur le tableau de bord « Azure Databricks ».

Les métriques sont extraites toutes les minutes, ce qui correspond à la résolution fournie par Azure pour la surveillance de ces services.

Données de configuration

Modifier en ligne
Détails de l'espace de travail Description
Nom Nom de l'espace de travail
Groupe de ressources Groupes de ressources de l'espace de travail
Emplacement Emplacement de l'espace de travail
ID d'abonnement ID abonnement de l'espace de travail
Type Type de l'espace de travail Databricks
Nom du cluster Nom du cluster
ID cluster ID du cluster
Version de Spark Version de Spark imbriquée dans le cluster
Source de cluster Type de source du cluster
Coeur de cluster Numéro de coeur d'UC du cluster
Nom du programme d'exécution Nom de l'exécuteur
Unity Catalog
Metastore Nom du métamagasin affecté à l'espace de travail
Nom du catalogue nom du catalogue
Catégorie Type de catalogue sécurisable
Nom d'actif Nom de l'actif de données
Type Type de l'actif de données: Table, Volume, Functionou Model
Nom d'action Nom de l'action dans le journal de diagnostic
Message d'erreur Message d'erreur dans la réponse de l'action

Métriques de performance

Modifier en ligne
Métrique Unité Agrégation Description
Métriques de l'espace de travail
Programmes d'exécution Nombre Moyenne Nombre total de programmes d'exécution dans l'espace de travail
Travaux en cours d'exécution Nombre Moyenne Nombre total de travaux en cours d'exécution dans l'espace de travail
Mémoire Mégaoctets Moyenne Somme de la mémoire totale utilisée dans l'espace de travail
Métriques du cluster
Nombre d'exécutions Nombre Moyenne Nombre total de programmes d'exécution sur le cluster
Nombre de travaux Nombre Moyenne Nombre total de travaux en cours d'exécution sur le cluster
Mémoire Mégaoctets Moyenne Mémoire utilisée par le cluster
Durée d'exécution [1] (Obsolète) Seconde Moyenne Métrique de diffusion en flux pour la durée du processus du cluster
Débit en lignes par seconde [1:1] (Obsolète) Seconde Moyenne Métrique de débit de diffusion en flux indiquant les lignes d'entrée par seconde dans le cluster
Nombre d'octets réorganisés par cluster [1:2] (Obsolète) Octet Moyenne Somme du nombre total d'octets de lecture / écriture aléatoire dans le cluster
Octets écrits en mode aléatoire [1:3] (Obsolète) Octet Moyenne Nombre d'octets écrits dans des opérations de mélange
Métriques de l'exécuteur
Durée de désérialisation (rapport par rapport au temps d'exécution de l'exécuteur) [1:4] (Obsolète) Pourcentage Moyenne Rapport entre le temps écoulé pour désérialiser la tâche et le temps écoulé passé par le programme d'exécution pour exécuter la tâche
Temps de sérialisation (rapport par rapport au temps d'exécution de l'exécuteur) [1:5] (Obsolète) Pourcentage Moyenne Rapport entre le temps écoulé pour sérialiser le résultat de la tâche et le temps écoulé passé par le programme d'exécution pour exécuter la tâche
CPU de l'exécuteur (rapport avec le temps d'exécution de l'exécuteur) [1:6] (Obsolète) Pourcentage Moyenne Rapport entre le temps UC passé par le programme d'exécution pour exécuter la tâche et le temps écoulé passé par le programme d'exécution pour exécuter la tâche
Mélanger la mémoire directe du client [1:7] (Obsolète) Octet Moyenne Mémoire directe utilisée pour mélanger les données
Mémoire de pile aléatoire [1:8] (Obsolète) Octet Moyenne Segment de mémoire utilisé pour la réorganisation des données
CPU JVM (rapport avec le temps d'exécution de l'exécuteur) [1:9] (Obsolète) Pourcentage Moyenne Le rapport entre le temps écoulé que l' JVM e a consacré au ramassage des ordures pendant l'exécution de la tâche et le temps écoulé que l'exécuteur a consacré à l'exécution de la tâche
Unity Indicateurs du catalogue
Catalogues Nombre Moyenne Nombre total de catalogues
Schémas Nombre Moyenne Nombre total de schémas
Tableaux Nombre Moyenne Nombre total de tables
Vues Nombre Moyenne Nombre total de vues
Volumes Nombre Moyenne Nombre total de volumes
Tables créées par type Nombre Moyenne Nombre de tables créées pour un type de table spécifique
Volumes créés par type Nombre Moyenne Nombre de volumes créés pour un type de volume spécifique
Métriques par catalogue
Schémas Nombre Moyenne Nombre total de schémas pour un catalogue spécifique
Tableaux Nombre Moyenne Nombre total de tables pour un catalogue spécifique
Vues Nombre Moyenne Nombre total de vues pour un catalogue spécifique
Volumes Nombre Moyenne Nombre total de volumes pour un catalogue spécifique
Modèles ML Nombre Moyenne Nombre total de modèles d'apprentissage automatique pour un catalogue spécifique
Fonctions Nombre Moyenne Nombre total de fonctions pour un catalogue spécifique
Nombre d'accès à la ressource [1:10] [2] Nombre Moyenne Nombre d'accès à un actif spécifique au cours des dernières 24 heures
Nombre d'accès non autorisés [1:11] [2:1] Nombre Moyenne Nombre d'accès non autorisés à une action spécifique au cours des dernières 24 heures

  1. Vous pouvez extraire les métriques à partir de Log Analytics. Vous ne pouvez pas consulter les métriques dans l'interface utilisateur d' Instana si Log Analytics n'est pas configuré. ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. Cet indicateur est disponible lorsque vous activez les journaux de diagnostic et que vous configurez l'option « Envoyer vers Log Analytics » dans votre espace de travail d' Azure Databricks. ↩︎ ↩︎