Azure Data Factory の監視

Instana Azure Data Factory の包括的な監視機能を提供し、環境全体をエンドツーエンドで可視化します。 Instana ホストエージェントをインストールすると、 Azure Data Factory センサーが自動的に展開およびインストールされます。 「 Instana 」UIでは、「 Azure Data Factory 」に関連するインフラストラクチャのメトリクスを確認できます。

詳細については、 「 Instana ホストエージェント」 を参照してください。

注: サポートされているその他の Azure サービスに関する詳細については、『 Azure 』のドキュメントを参照してください。

Azure Data Factory センサーの設定

Azure Data Factory を監視するには、まずエージェント <agentinstall_dir>/etc/instana/configuration.yaml ファイルで「 Azure 」センサーを次のように有効にする必要があります。 詳しくは、 インストールを参照してください。

com.instana.plugin.azure:
  enabled: true
  subscription: "[Your-Subscription-Id]"
  tenant: "[Your-Tenant-Id]"
  principals:
    - id: "[Your-Service-Principal-Account-Id]"
      secret: "[Your-Service-Principal-Secret]"

エージェント設定ファイルを使用して <agentinstall_dir>/etc/instana/configuration.yamlAzure Data Factory センサーを設定するには、以下の設定を使用してください:

com.instana.plugin.azure.datafactory:
  enabled: false # Valid values: true, false. Enabled (true) by default
  include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)
  exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)
  include_resource_groups: # Comma separated list of resource groups (e.g. rg_prod,rg_staging)
  exclude_resource_groups: # Comma separated list of resource groups (e.g. rg_dev,rg_test)

Azure Data Factory センサーを無効にし、タグやリソースグループでフィルタリングすることができます。

センサーを無効にする

Azure Data Factory サービスの監視を無効にするには、以下の設定を使用してください:

com.instana.plugin.azure.datafactory:
  enabled: false

タグとリソースグループを定義してフィルタリングする

複数のタグとリソース・グループをコンマで区切って定義できます。 タグは、コロン (:) で区切られたキーと値のペアとして定義する必要があります。 簡単に構成するには、ディスカバリーに含めるタグとリソース・グループ、またはディスカバリーから除外するタグとリソース・グループを定義します。 両方のリスト (包含と除外) にタグまたはリソース・グループを定義すると、除外リストの優先順位が高くなります。 サービスをフィルタリングしない場合は、構成を定義しないでください。 フィルタリングを有効にするためにすべての値を定義する必要はありません。

タグによってサービスをディスカバリーに組み込むには、以下の構成を使用します。

com.instana.plugin.azure.datafactory:
  include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)

タグによってサービスをディスカバリーから除外するには、以下の構成を使用します。

com.instana.plugin.azure.datafactory:
  exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)

リソース・グループごとのサービスをディスカバリーに組み込むには、以下の構成を使用します。

com.instana.plugin.azure.datafactory:
  include_resource_groups: # Comma separated list of resource groups (e.g. rg_prod,rg_staging)

リソース・グループ別にサービスをディスカバリーから除外するには、以下の構成を使用します。

com.instana.plugin.azure.datafactory:
  exclude_resource_groups: # Comma separated list of resource groups (e.g. rg_dev,rg_test)
注: ディスカバリーフィルタリングは、すべての Azure サービスに対してグローバルレベルで設定可能です。 Azure Data Factory サービスのフィルタを定義する際、グローバルフィルタは上書きされます。 Azure サービスのグローバル検出フィルタリングに関する詳細については、 「 Azure の設定」 を参照してください。

メトリックの表示

メトリックを表示するには、以下のステップを実行します。

  1. Instana のUIのサイドバーで、 「インフラストラクチャ」 を選択します。
  2. 特定のモニター対象ホストをクリックします。

収集されたすべてのメトリックとモニター対象プロセスを含むホスト・ダッシュボードを表示できます。

メトリックは毎分プルされます。これは、これらのサービスをモニターするために Azure が提供する解決策です。

構成データ

ファクトリーの詳細 説明
名前 ファクトリー名
リソース・グループ ファクトリーのリソース・グループ
Location ファクトリー・ロケーション
サブスクリプション ID ファクトリーのサブスクリプション ID
タイプ リソースのタイプ
状態 ファクトリーの状態
バージョン ファクトリーのバージョン
パイプラインのリスト すべてのファクトリー・パイプラインのリスト

パフォーマンス・メトリック

メトリック 名前 ユニット 集約 説明
成功したパイプライン
pipelineSucceededRuns 合計 1 分の時間枠内に成功したパイプライン実行の総数。
パーセンテージ pipelineSucceededRunsPercentage パーセント 平均 1 分以内に成功したパイプライン実行の割合 (%)。
失敗したパイプライン
pipelineFailedRuns 合計 1 分の時間枠内に失敗したパイプライン実行の総数。
パーセンテージ pipelineFailedRunsPercentage パーセント 平均 1 分以内に失敗したパイプライン実行の割合 (%)。
キャンセルされたパイプライン
pipelineCancelledRuns 合計 1 分の時間枠内にキャンセルされたパイプライン実行の総数。
パーセンテージ pipelineCancelledRunsPercentage パーセント 平均 1 分以内にキャンセルされたパイプライン実行の割合 (%)。
パイプラインの合計
pipelineTotalRuns 合計 1 分間のウィンドウ内で、成功した実行、失敗した実行、およびキャンセルされた実行の合計として計算されたパイプライン実行の総数。
パイプライン
経過時間 pipelineElapsedTimeRuns 合計 ユーザー定義の予期される所要時間よりも長くパイプラインが実行される、分単位の時間枠内の回数。
成功したアクティビティー
activitySucceededRuns 合計 1 分ウィンドウ内で成功したアクティビティー実行の総数。
パーセンテージ activitySucceededRunsPercentage パーセント 平均 1 分以内に実行されたアクティビティーのうち、成功したアクティビティーの割合 (%)。
失敗したアクティビティー
activityFailedRuns 合計 1 分の時間枠内に失敗したアクティビティー実行の総数。
パーセンテージ activityFailedRunsPercentage パーセント 平均 1 分以内に実行されたアクティビティーのうち、失敗したものの割合 (%)。
キャンセルされたアクティビティー
activityCancelledRuns 合計 1 分の時間枠内にキャンセルされたアクティビティー実行の総数。
パーセンテージ activityCancelledRunsPercentage パーセント 平均 1 分以内にキャンセルされたアクティビティー実行の割合 (%)。
アクティビティーの合計
activityTotalRuns 合計 1 分以内に成功した実行、失敗した実行、およびキャンセルされた実行の合計として計算されたアクティビティー実行の総数。
成功したトリガー
triggerSucceededRuns 合計 1 分の時間枠内に成功したトリガー実行の総数。
パーセンテージ triggerSucceededRunsPercentage パーセント 平均 1 分ウィンドウ内で正常に実行されたトリガーのパーセンテージ。
失敗したトリガー
triggerFailedRuns 合計 1 分の時間枠内に失敗したトリガー実行の総数。
パーセンテージ triggerFailedRunsPercentage パーセント 平均 1 分以内に失敗したトリガー実行の割合 (%)。
キャンセルされたトリガー
triggerCancelledRuns 合計 1 分の時間枠内にキャンセルされたトリガー実行の総数。
パーセンテージ triggerCancelledRunsPercentage パーセント 平均 1 分以内にキャンセルされたトリガー実行の割合 (%)。
トリガー合計
triggerTotalRuns 合計 1 分以内に成功した実行、失敗した実行、およびキャンセルされた実行の合計として計算されたトリガー実行の総数。
ランタイム・メモリー
使用可能 integrationRuntimeAvailableMemory バイト数 合計 1 分ウィンドウ内で自己ホスト型統合ランタイムに使用可能なメモリーの合計バイト数。
ランタイムCPU
パーセンテージ integrationRuntimeCpuPercentage パーセント 合計 分ウィンドウ内の自己ホスト型統合ランタイムの CPU 使用率 (%)。
ランタイム・キュー
長さ integrationRuntimeQueueLength 合計 1 分以内の自己ホスト型統合ランタイムのキューの合計の長さ。
Airflow CPU
パーセンテージ airflowIntegrationRuntimeCpuPercentage パーセント 平均 Airflow 統合ランタイムの CPU 使用率 (分単位) のウィンドウ内での値。
Airflowメモリー
パーセンテージ airflowIntegrationRuntimeMemoryPercentage パーセント 平均 1 分以内に Airflow 統合ランタイムで使用可能なメモリーの割合。
Airflowタスク
実行中 airflowIntegrationRuntimeSchedulerTasksRunning 合計 1 分以内に Airflow 統合ランタイム実行プログラムで実行されたスケジュール済みタスクの総数。
待機中 airflowIntegrationRuntimeExecutorQueuedTasks 合計 Airflow 統合ランタイム実行プログラム内で、1 分以内にキューに入れられたスケジュール済みタスクの総数。
Airflowオペレーター
成功 airflowIntegrationRuntimeOperatorSuccesses 合計 1 分以内に成功した Airflow 統合ランタイム・オペレーターの総数。
失敗 airflowIntegrationRuntimeOperatorFailures 合計 1 分以内に発生した Airflow 統合ランタイム・オペレーターの失敗の総数。
Airflowトリガー
成功 airflowIntegrationRuntimeTriggersSucceeded 合計 1 分以内に成功した Airflow 統合ランタイム・トリガーの総数。
実行中 airflowIntegrationRuntimeTriggersRunning 合計 1 分以内に実行されている Airflow 統合ランタイム・トリガーの総数。
失敗 airflowIntegrationRuntimeTriggersFailed 合計 1 分以内に失敗した Airflow 統合ランタイム・トリガーの総数。
Airflowジョブ
成功 airflowIntegrationRuntimeJobStart 合計 1 分以内に成功した Airflow 統合ランタイム・ジョブの総数。
実行中 airflowIntegrationRuntimeJobEnd 合計 1 分以内に実行されている Airflow 統合ランタイム・ジョブの総数。
失敗 airflowIntegrationRuntimeJobHeartbeatFailure 合計 1 分以内に発生した Airflow 統合ランタイム・ジョブのハートビート失敗の総数。
Airflow DAG処理
最後の所要時間 airflowIntegrationRuntimeDAGProcessingLastDuration ミリ秒 平均 分期内の Airflow 統合ランタイムにおける最後の DAG 処理の平均所要時間。