Azure Databricks の監視

オンラインで編集する

Instana お客様の環境全体を可視化し、 Azure Databricks の監視をサポートします。 Instana ホストエージェントをインストールすると、 Azure Databricks センサーが自動的にインストールされ、有効化されます。 「 Instana 」UIでは、「 Azure Databricks 」に関連するインフラストラクチャのメトリクスを確認できます。

詳細については、 「 Instana ホストエージェント」 を参照してください。

注： サポートされているその他の Azure サービスに関する詳細については、 「 Azure エージェントを使用した Microsoft® Azure の監視と計測」 を参照してください。

Azure Databricks センサーの設定

オンラインで編集する

Azure Databricks を設定するには、次の例に示すように、エージェント configuration.yaml 設定ファイルで「 Azure 」センサーを有効にしてください

com.instana.plugin.azure:
  enabled: true
  subscription: "[Your-Subscription-Id]"
  tenant: "[Your-Tenant-Id]"
  principals:
    - id: "[Your-Service-Principal-Account-Id]"
      secret: "[Your-Service-Principal-Secret]"

詳しくは、 Azure エージェントのインストールを参照してください。

Azure Databricks センサーを設定するには、次の例に示すようにエージェントの設定 <agentinstall_dir>/etc/instana/configuration.yaml ファイルを更新してください

com.instana.plugin.azure.databricks:
  enabled: false # Enabled (true) by default. Valid values: true, false
  unity_catalog_pollRate: 60 # Optional field. Unit is minute. This indicates the poll rate of Unity Catalog related data in minutes for all workspaces. The default poll rate is 60 minutes.
  workspaces:
    workspaceName1: # Your Azure Databricks workspace name
      databricks_workspace_access_token: '[Your-Databricks-Workspace-Access-Token]' # Required field.
      log_analytics_workspace_id: '[Your-Log-Analytics-Workspace-Id]' # Optional field.
      unity_catalog_pollRate: 60 # Optional field. Unit is minute. This indicates the poll rate of Unity Catalog related data in minutes for this workspace. The default poll rate is 60 minutes.
    workspaceName2: # Your Azure Databricks workspace name
      databricks_workspace_access_token: '[Your-Databricks-Workspace-Access-Token]' # Required field.
      log_analytics_workspace_id: '[Your-Log-Analytics-Workspace-Id]' # Optional field.
      unity_catalog_pollRate: 60 # Optional field. Unit is minute. This indicates the poll rate of Unity Catalog related data in minutes for this workspace. The default poll rate is 60 minutes.
注:
  • Azure Databricks ワークスペースのアクセストークンを生成できます。 アクセス・トークンの生成方法について詳しくは、 Databricks personal access token authenticationを参照してください。
  • ワークスペース ID はオプション・フィールドです。 「ワークスペース ID」 フィールドに値が入力されている場合は、さらにメトリックを取得できます。
  • ワークスペースで「 Unity 」カタログを有効にすると、「 Unity 」カタログに関連するメトリクスを確認できます。 詳細については、 「 Unity カタログのワークスペースを有効にする」 を参照してください。 Unity カタログのメトリクスの一部は、診断ログから収集されます。 これらのメトリクスを確認するには、 Databricksの Unity カタログカテゴリの診断ログを有効にし、 Azure ポータルで Azure Databricks ワークスペースの 「Log Analyticsに送信」 を設定した後、エージェント configuration.yaml ファイルで log_analytics_workspace_id ワークスペースの設定を行います。 詳しくは、 診断ログ配信の構成を参照してください。

Azure Databricks センサーを無効にする

オンラインで編集する

Azure Databricks センサーの監視を無効にするには、次の例に示すようにエージェントの設定 <agentinstall_dir>/etc/instana/configuration.yaml ファイルを更新してください

com.instana.plugin.azure.databricks:
  enabled: false

メトリックの表示

オンラインで編集する

メトリックを表示するには、以下のステップを実行します。

  1. Instana のUIにあるナビゲーションメニューから、 「インフラストラクチャ」 を選択します。
  2. 「 Azure Databricks 」ワークスペース内で、 Locationによってグループ化されている特定の「 Azure Databricks 」ブロックをクリックします。

収集されたすべてのメトリクスは、「 Azure Databricks 」ダッシュボードで確認できます。

メトリックは 1 分ごとにプルされます。これは、これらのサービスをモニターするために Azure が提供する解決策です。

構成データ

オンラインで編集する
ワークスペースの詳細 説明
名前 ワークスペースの名前
リソース・グループ ワークスペースのリソース・グループ
Location ワークスペースのロケーション
サブスクリプション ID ワークスペースのサブスクリプション ID
タイプ Databricks ワークスペースのタイプ
クラスター名 クラスターの名前
クラスター ID クラスターの ID
Spark バージョン クラスターに組み込まれている Spark のバージョン
クラスター・ソース クラスターのソース・タイプ
クラスター・コア クラスターの CPU コア数
実行プログラム名 実行プログラムの名前
統合カタログ
Metastore ワークスペースに割り当てられているメタストアの名前。
カタログ名 カタログの名前
種別 カタログの保護可能な種類
資産名 データ資産の名前
タイプ データ資産のタイプ: Table、 Volume、 Function、または Model
アクション名 診断ログ内のアクションの名前
エラー・メッセージ アクションの応答のエラー・メッセージ

パフォーマンス・メトリック

オンラインで編集する
メトリック ユニット 集約 説明
ワークスペースのメトリック
エグゼキューター数 数 平均 ワークスペース内の実行プログラムの総数
実行中のジョブ 数 平均 ワークスペースで実行されているジョブの総数
メモリー メガバイト 平均 ワークスペースで使用されている合計メモリーの合計
クラスターのメトリック
実行カウント 数 平均 クラスター上の実行プログラムの総数
ジョブ・カウント 数 平均 クラスター上で実行中のジョブの総数
メモリー メガバイト 平均 クラスターによって使用されているメモリー
実行時間 [1] (非推奨) 秒 平均 クラスターのプロセス期間のストリーミング・メトリック
秒あたりの処理行数 [1:1] (非推奨) 秒 平均 クラスター内の 1 秒当たりの入力行数を示すストリーミング・スループット・メトリック
クラスタあたりのバイト数の合計 [1:2] (非推奨) バイト 平均 クラスター内のシャッフル読み取り/書き込みの合計バイト数の合計
書き込みバイト数 [1:3] (非推奨) バイト 平均 シャッフル操作で書き込まれたバイト数。
実行プログラム・メトリック
デシリアライズ時間（実行時間に対する比率） [1:4] （非推奨） パーセント 平均 実行者がタスクの実行に費やした経過時間に対する、タスクをデシリアライズするために費やされた経過時間の比率
シリアル化時間（実行時間に対する比率） [1:5] （非推奨） パーセント 平均 実行プログラムがタスクの実行に費やした経過時間に対する、タスク結果のシリアライズに費やされた経過時間の比率
Executor CPU（Executor Runtime との比率） [1:6] （非推奨） パーセント 平均 実行プログラムがタスクの実行に費やした CPU 時間と、実行プログラムがタスクの実行に費やした経過時間との比率
クライアントのダイレクトメモリをシャッフル [1:7] (非推奨) バイト 平均 データのシャッフルに使用される直接メモリー
シャッフル・ヒープ・メモリ [1:8] (非推奨) バイト 平均 データのシャッフルに使用されるヒープ・メモリー
JVM CPU（Executorランタイムを含む比率） [1:9] （非推奨） パーセント 平均 タスクの実行中に JVM がガベージコレクションに費やした経過時間と、エグゼキュータがタスクの実行に費やした経過時間との比率
Unity カタログの指標
カタログ 数 平均 カタログの総数
スキーマ 数 平均 スキーマの総数
テーブル 数 平均 表の総数
ビュー 数 平均 ビューの総数
ボリューム 数 平均 ボリュームの総数
タイプ別に作成された表 数 平均 特定のタイプの表に対して作成された表の数
タイプ別に作成されたボリューム 数 平均 特定のタイプのボリューム用に作成されたボリュームの数
カタログごとのメトリック
スキーマ 数 平均 特定のカタログのスキーマの合計数
テーブル 数 平均 特定のカタログの表の合計数
ビュー 数 平均 特定のカタログのビューの合計数
ボリューム 数 平均 特定のカタログのボリュームの合計数
ML モデル 数 平均 特定のカタログの機械学習モデルの合計数
関数 数 平均 特定のカタログの機能の合計数
アセットへのアクセス数 [1:10] [2] 数 平均 過去 24 時間における特定の資産へのアクセス数
不正アクセスの件数 [1:11] [2:1] 数 平均 過去 24 時間における特定のアクションへの無許可アクセスの数

  1. ログ分析からメトリックを取得できます。 Log Analytics が設定されていない場合、 Instana の UI でメトリクスを表示することはできません。 ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎ ↩︎

  2. このメトリクスは、診断ログを有効にし、 Azure Databricks ワークスペースで 「Log Analyticsに送信」 を設定すると利用可能になります。 ↩︎ ↩︎