监控 Azure Databricks
Instana 可为您提供环境的端到端可视性，并支持对 Azure Databricks 的监控。 安装 Instana 主机代理后， Azure Databricks 传感器将自动安装并启用。 您可以在“ Instana ”用户界面中查看与 Azure Databricks 相关的基础设施指标。
如需了解更多信息，请参阅 Instana host agent。
注意： 有关其他受支持的 Azure 服务的更多信息，请参阅 《使用 Azure 代理监控和配置 Microsoft® Azure 》。
补充信息
Instana 支持所有受支持的 Azure Databricks 运行时版本的指标和配置数据。
配置 Azure Databricks 传感器
要配置 Azure Databricks ，请在代理 configuration.yaml 配置文件中启用 Azure 传感器，如下例所示：
com.instana.plugin.azure:
enabled: true
subscription: "[Your-Subscription-Id]"
tenant: "[Your-Tenant-Id]"
principals:
- id: "[Your-Service-Principal-Account-Id]"
secret: "[Your-Service-Principal-Secret]"
有关更多信息，请参阅 安装 Azure 代理程序。
要配置 Azure Databricks 传感器，请按照以下示例更新代理 <agentinstall_dir>/etc/instana/configuration.yaml 配置文件：
com.instana.plugin.azure.databricks:
enabled: false # Enabled (true) by default. Valid values: true, false
unity_catalog_pollRate: 60 # Optional field. Unit is minute. This indicates the poll rate of Unity Catalog related data in minutes for all workspaces. The default poll rate is 60 minutes.
workspaces:
workspaceName1: # Your Azure Databricks workspace name
databricks_workspace_access_token: '[Your-Databricks-Workspace-Access-Token]' # Required field.
log_analytics_workspace_id: '[Your-Log-Analytics-Workspace-Id]' # Optional field.
unity_catalog_pollRate: 60 # Optional field. Unit is minute. This indicates the poll rate of Unity Catalog related data in minutes for this workspace. The default poll rate is 60 minutes.
workspaceName2: # Your Azure Databricks workspace name
databricks_workspace_access_token: '[Your-Databricks-Workspace-Access-Token]' # Required field.
log_analytics_workspace_id: '[Your-Log-Analytics-Workspace-Id]' # Optional field.
unity_catalog_pollRate: 60 # Optional field. Unit is minute. This indicates the poll rate of Unity Catalog related data in minutes for this workspace. The default poll rate is 60 minutes.
注：
- 您可以为 Azure Databricks 工作区生成访问令牌。 有关如何生成访问令牌的更多信息，请参阅 数据块个人访问令牌认证。
- 工作空间标识是可选字段。 如果填写了 工作空间标识 字段，那么可以检索更多度量。
- 如果您为 Unity Catalog 启用工作区，则可以查看与 Unity Catalog 相关的指标。 如需了解更多信息，请参阅 “为 Unity 目录启用工作区 ”。 Unity Catalog 中的部分指标是从诊断日志中收集的。 要查看这些指标，请为 Databricks Unity Catalog 类别启用诊断日志，并在 Azure 门户中为 Azure Databricks 工作区配置 “发送至 Log Analytics ”，然后在代理
configuration.yaml配置文件中为您的工作区配置相关log_analytics_workspace_id设置。 有关更多信息，请参阅 配置诊断日志传递。
禁用 Azure Databricks 传感器
若要禁用对 Azure Databricks 传感器监控，请按照以下示例更新代理 <agentinstall_dir>/etc/instana/configuration.yaml 配置文件：
com.instana.plugin.azure.databricks:
enabled: false
查看度量值
要查看度量，请完成以下步骤:
- 在 Instana 用户界面的导航菜单中，选择 “基础设施”。
- 在“ Azure Databricks ”工作区中，点击由 分组的具体“ Azure Databricks
Location”模块。
您可以在 Azure Databricks 仪表盘上查看所有已收集的指标。
度量值每分钟拉取一次，这是 Azure 提供的用于监视这些服务的解决方案。
配置数据
| 工作空间详细信息 | 描述 |
|---|---|
| 名称 | 工作空间的名称 |
| 资源组 | 工作空间的资源组 |
| 位置 | 工作空间的位置 |
| 预订标识 | 工作空间的预订标识 |
| Type | "数据块" 工作空间的类型 |
| 集群名称 | 集群的名称 |
| 集群标识 | 集群的标识 |
| Spark 版本 | 集群中嵌入的 Spark 版本 |
| 集群源 | 集群的源类型 |
| 集群核心 | 集群的 CPU 核心数 |
| 执行程序名称 | 执行程序的名称 |
| 统一目录 | |
| Metastore | 分配给工作空间的元存储的名称 |
| 目录名称 | 目录名称 |
| 种类 | 目录安全类型 |
| 资产名称 | 数据资产的名称 |
| Type | 数据资产的类型: Table， Volume， Function或 Model |
| 操作名称 | 诊断日志中的操作的名称 |
| 错误消息 | 操作响应中的错误消息 |
绩效指标
| 指标 | 单元 | 汇总 | 描述 |
|---|---|---|---|
| 工作空间度量 | |||
| 执行程序数 | 计数 | 平均 | 工作空间中的执行程序总数 |
| 正在运行的作业数 | 计数 | 平均 | 工作空间中正在运行的作业总数 |
| 内存 | 兆字节 | 平均 | 工作空间中使用的总内存总和 |
| 集群度量 | |||
| 执行计数 | 计数 | 平均 | 集群上的执行程序总数 |
| 作业计数 | 计数 | 平均 | 集群上正在运行的作业总数 |
| 内存 | 兆字节 | 平均 | 集群使用的内存 |
| 执行时长 [1] (已弃用) | 第二 | 平均 | 集群的进程持续时间的流式度量 |
| 每秒处理行数 [1:1] (已弃用) | 第二 | 平均 | 指示集群中每秒输入行数的流式吞吐量度量 |
| 每簇的求和混洗字节数 [1:2] (已弃用) | 字节 | 平均 | 集群中 shuffle 读/写字节总数的总和 |
| 已写入的随机字节数 [1:3] (已弃用) | 字节 | 平均 | 在 shuffle 操作中写入的字节数 |
| 执行程序度量 | |||
| 反序列化时间（与执行器运行时间的比率） [1:4] （已弃用） | 百分比 | 平均 | 将任务反序列化所耗用时间与执行程序运行任务所耗用时间的比率 |
| 序列化时间（与执行器运行时间的比率） [1:5] （已弃用） | 百分比 | 平均 | 将任务结果序列化所耗用时间与执行程序运行任务所耗用时间的比率 |
| Executor CPU（与Executor运行时相关的比率） [1:6] （已弃用） | 百分比 | 平均 | 执行程序运行任务所耗用的 CPU 时间与执行程序运行任务所耗用时间的比率 |
| 重新排列客户端直接内存 [1:7] (已弃用) | 字节 | 平均 | 用于对数据进行洗牌的直接内存 |
| 洗牌堆内存 [1:8] （已弃用） | 字节 | 平均 | 用于对数据进行洗牌的堆内存 |
| JVM CPU（含执行器运行时的比例） [1:9] （已弃用） | 百分比 | 平均 | JVM 在执行任务期间用于垃圾回收的时间占执行器运行该任务所用总时间的比率 |
| Unity 目录指标 | |||
| 目录 | 计数 | 平均 | 目录总数 |
| 模式 | 计数 | 平均 | 模式总数 |
| 表 | 计数 | 平均 | 表总数 |
| 视图 | 计数 | 平均 | 视图总数 |
| 卷 | 计数 | 平均 | 卷总数 |
| 按类型创建的表 | 计数 | 平均 | 为特定类型的表创建的表数 |
| 按类型创建的卷 | 计数 | 平均 | 为特定类型的卷创建的卷数 |
| 每个目录的度量 | |||
| 模式 | 计数 | 平均 | 特定目录的模式总数 |
| 表 | 计数 | 平均 | 特定目录的表总数 |
| 视图 | 计数 | 平均 | 特定目录的视图总数 |
| 卷 | 计数 | 平均 | 特定目录的卷总数 |
| ML 模型 | 计数 | 平均 | 特定目录的机器学习模型总数 |
| 函数 | 计数 | 平均 | 特定目录的函数总数 |
| 资产访问次数 [1:10] [2] | 计数 | 平均 | 过去 24 小时内对特定资产的访问数 |
| 未经授权的访问次数 [1:11] [2:1] | 计数 | 平均 | 过去 24 小时内对特定操作的未经授权访问次数 |