Azure Data Factory の監視
Instana Azure Data Factory の包括的な監視機能を提供し、環境全体をエンドツーエンドで可視化します。 Instana ホストエージェントをインストールすると、 Azure Data Factory センサーが自動的に展開およびインストールされます。 「 Instana 」UIでは、「 Azure Data Factory 」に関連するインフラストラクチャのメトリクスを確認できます。
詳細については、 「 Instana ホストエージェント」 を参照してください。
サポートされるバージョン
Instana Azure Data Factory バージョン2に対応しています。
Azure Data Factory センサーの設定
Azure Data Factory を監視するには、まずエージェント <agentinstall_dir>/etc/instana/configuration.yaml ファイルで「 Azure 」センサーを次のように有効にする必要があります。 詳しくは、 インストールを参照してください。
com.instana.plugin.azure:
enabled: true
subscription: "[Your-Subscription-Id]"
tenant: "[Your-Tenant-Id]"
principals:
- id: "[Your-Service-Principal-Account-Id]"
secret: "[Your-Service-Principal-Secret]"
エージェント設定ファイルを使用して <agentinstall_dir>/etc/instana/configuration.yamlAzure Data Factory センサーを設定するには、以下の設定を使用してください:
com.instana.plugin.azure.datafactory:
enabled: false # Valid values: true, false. Enabled (true) by default
include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)
exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)
include_resource_groups: # Comma separated list of resource groups (e.g. rg_prod,rg_staging)
exclude_resource_groups: # Comma separated list of resource groups (e.g. rg_dev,rg_test)
Azure Data Factory センサーを無効にし、タグやリソースグループでフィルタリングすることができます。
センサーを無効にする
Azure Data Factory サービスの監視を無効にするには、以下の設定を使用してください:
com.instana.plugin.azure.datafactory:
enabled: false
タグとリソースグループを定義してフィルタリングする
複数のタグとリソース・グループをコンマで区切って定義できます。 タグは、コロン (:) で区切られたキーと値のペアとして定義する必要があります。 簡単に構成するには、ディスカバリーに含めるタグとリソース・グループ、またはディスカバリーから除外するタグとリソース・グループを定義します。 両方のリスト (包含と除外) にタグまたはリソース・グループを定義すると、除外リストの優先順位が高くなります。 サービスをフィルタリングしない場合は、構成を定義しないでください。 フィルタリングを有効にするためにすべての値を定義する必要はありません。
タグによってサービスをディスカバリーに組み込むには、以下の構成を使用します。
com.instana.plugin.azure.datafactory:
include_tags: # Comma separated list of tags in key:value format (e.g. env:prod,env:staging)
タグによってサービスをディスカバリーから除外するには、以下の構成を使用します。
com.instana.plugin.azure.datafactory:
exclude_tags: # Comma separated list of tags in key:value format (e.g. env:dev,env:test)
リソース・グループごとのサービスをディスカバリーに組み込むには、以下の構成を使用します。
com.instana.plugin.azure.datafactory:
include_resource_groups: # Comma separated list of resource groups (e.g. rg_prod,rg_staging)
リソース・グループ別にサービスをディスカバリーから除外するには、以下の構成を使用します。
com.instana.plugin.azure.datafactory:
exclude_resource_groups: # Comma separated list of resource groups (e.g. rg_dev,rg_test)
メトリックの表示
メトリックを表示するには、以下のステップを実行します。
- Instana のUIのサイドバーで、 「インフラストラクチャ」 を選択します。
- 特定のモニター対象ホストをクリックします。
収集されたすべてのメトリックとモニター対象プロセスを含むホスト・ダッシュボードを表示できます。
メトリックは毎分プルされます。これは、これらのサービスをモニターするために Azure が提供する解決策です。
構成データ
| ファクトリーの詳細 | 説明 |
|---|---|
| 名前 | ファクトリー名 |
| リソース・グループ | ファクトリーのリソース・グループ |
| Location | ファクトリー・ロケーション |
| サブスクリプション ID | ファクトリーのサブスクリプション ID |
| タイプ | リソースのタイプ |
| 状態 | ファクトリーの状態 |
| バージョン | ファクトリーのバージョン |
| パイプラインのリスト | すべてのファクトリー・パイプラインのリスト |
パフォーマンス・メトリック
| メトリック | 名前 | ユニット | 集約 | 説明 |
|---|---|---|---|---|
| 成功したパイプライン | ||||
| 数 | pipelineSucceededRuns | 数 | 合計 | 1 分の時間枠内に成功したパイプライン実行の総数。 |
| パーセンテージ | pipelineSucceededRunsPercentage | パーセント | 平均 | 1 分以内に成功したパイプライン実行の割合 (%)。 |
| 失敗したパイプライン | ||||
| 数 | pipelineFailedRuns | 数 | 合計 | 1 分の時間枠内に失敗したパイプライン実行の総数。 |
| パーセンテージ | pipelineFailedRunsPercentage | パーセント | 平均 | 1 分以内に失敗したパイプライン実行の割合 (%)。 |
| キャンセルされたパイプライン | ||||
| 数 | pipelineCancelledRuns | 数 | 合計 | 1 分の時間枠内にキャンセルされたパイプライン実行の総数。 |
| パーセンテージ | pipelineCancelledRunsPercentage | パーセント | 平均 | 1 分以内にキャンセルされたパイプライン実行の割合 (%)。 |
| パイプラインの合計 | ||||
| 数 | pipelineTotalRuns | 数 | 合計 | 1 分間のウィンドウ内で、成功した実行、失敗した実行、およびキャンセルされた実行の合計として計算されたパイプライン実行の総数。 |
| パイプライン | ||||
| 経過時間 | pipelineElapsedTimeRuns | 数 | 合計 | ユーザー定義の予期される所要時間よりも長くパイプラインが実行される、分単位の時間枠内の回数。 |
| 成功したアクティビティー | ||||
| 数 | activitySucceededRuns | 数 | 合計 | 1 分ウィンドウ内で成功したアクティビティー実行の総数。 |
| パーセンテージ | activitySucceededRunsPercentage | パーセント | 平均 | 1 分以内に実行されたアクティビティーのうち、成功したアクティビティーの割合 (%)。 |
| 失敗したアクティビティー | ||||
| 数 | activityFailedRuns | 数 | 合計 | 1 分の時間枠内に失敗したアクティビティー実行の総数。 |
| パーセンテージ | activityFailedRunsPercentage | パーセント | 平均 | 1 分以内に実行されたアクティビティーのうち、失敗したものの割合 (%)。 |
| キャンセルされたアクティビティー | ||||
| 数 | activityCancelledRuns | 数 | 合計 | 1 分の時間枠内にキャンセルされたアクティビティー実行の総数。 |
| パーセンテージ | activityCancelledRunsPercentage | パーセント | 平均 | 1 分以内にキャンセルされたアクティビティー実行の割合 (%)。 |
| アクティビティーの合計 | ||||
| 数 | activityTotalRuns | 数 | 合計 | 1 分以内に成功した実行、失敗した実行、およびキャンセルされた実行の合計として計算されたアクティビティー実行の総数。 |
| 成功したトリガー | ||||
| 数 | triggerSucceededRuns | 数 | 合計 | 1 分の時間枠内に成功したトリガー実行の総数。 |
| パーセンテージ | triggerSucceededRunsPercentage | パーセント | 平均 | 1 分ウィンドウ内で正常に実行されたトリガーのパーセンテージ。 |
| 失敗したトリガー | ||||
| 数 | triggerFailedRuns | 数 | 合計 | 1 分の時間枠内に失敗したトリガー実行の総数。 |
| パーセンテージ | triggerFailedRunsPercentage | パーセント | 平均 | 1 分以内に失敗したトリガー実行の割合 (%)。 |
| キャンセルされたトリガー | ||||
| 数 | triggerCancelledRuns | 数 | 合計 | 1 分の時間枠内にキャンセルされたトリガー実行の総数。 |
| パーセンテージ | triggerCancelledRunsPercentage | パーセント | 平均 | 1 分以内にキャンセルされたトリガー実行の割合 (%)。 |
| トリガー合計 | ||||
| 数 | triggerTotalRuns | 数 | 合計 | 1 分以内に成功した実行、失敗した実行、およびキャンセルされた実行の合計として計算されたトリガー実行の総数。 |
| ランタイム・メモリー | ||||
| 使用可能 | integrationRuntimeAvailableMemory | バイト数 | 合計 | 1 分ウィンドウ内で自己ホスト型統合ランタイムに使用可能なメモリーの合計バイト数。 |
| ランタイムCPU | ||||
| パーセンテージ | integrationRuntimeCpuPercentage | パーセント | 合計 | 分ウィンドウ内の自己ホスト型統合ランタイムの CPU 使用率 (%)。 |
| ランタイム・キュー | ||||
| 長さ | integrationRuntimeQueueLength | 数 | 合計 | 1 分以内の自己ホスト型統合ランタイムのキューの合計の長さ。 |
| Airflow CPU | ||||
| パーセンテージ | airflowIntegrationRuntimeCpuPercentage | パーセント | 平均 | Airflow 統合ランタイムの CPU 使用率 (分単位) のウィンドウ内での値。 |
| Airflowメモリー | ||||
| パーセンテージ | airflowIntegrationRuntimeMemoryPercentage | パーセント | 平均 | 1 分以内に Airflow 統合ランタイムで使用可能なメモリーの割合。 |
| Airflowタスク | ||||
| 実行中 | airflowIntegrationRuntimeSchedulerTasksRunning | 数 | 合計 | 1 分以内に Airflow 統合ランタイム実行プログラムで実行されたスケジュール済みタスクの総数。 |
| 待機中 | airflowIntegrationRuntimeExecutorQueuedTasks | 数 | 合計 | Airflow 統合ランタイム実行プログラム内で、1 分以内にキューに入れられたスケジュール済みタスクの総数。 |
| Airflowオペレーター | ||||
| 成功 | airflowIntegrationRuntimeOperatorSuccesses | 数 | 合計 | 1 分以内に成功した Airflow 統合ランタイム・オペレーターの総数。 |
| 失敗 | airflowIntegrationRuntimeOperatorFailures | 数 | 合計 | 1 分以内に発生した Airflow 統合ランタイム・オペレーターの失敗の総数。 |
| Airflowトリガー | ||||
| 成功 | airflowIntegrationRuntimeTriggersSucceeded | 数 | 合計 | 1 分以内に成功した Airflow 統合ランタイム・トリガーの総数。 |
| 実行中 | airflowIntegrationRuntimeTriggersRunning | 数 | 合計 | 1 分以内に実行されている Airflow 統合ランタイム・トリガーの総数。 |
| 失敗 | airflowIntegrationRuntimeTriggersFailed | 数 | 合計 | 1 分以内に失敗した Airflow 統合ランタイム・トリガーの総数。 |
| Airflowジョブ | ||||
| 成功 | airflowIntegrationRuntimeJobStart | 数 | 合計 | 1 分以内に成功した Airflow 統合ランタイム・ジョブの総数。 |
| 実行中 | airflowIntegrationRuntimeJobEnd | 数 | 合計 | 1 分以内に実行されている Airflow 統合ランタイム・ジョブの総数。 |
| 失敗 | airflowIntegrationRuntimeJobHeartbeatFailure | 数 | 合計 | 1 分以内に発生した Airflow 統合ランタイム・ジョブのハートビート失敗の総数。 |
| Airflow DAG処理 | ||||
| 最後の所要時間 | airflowIntegrationRuntimeDAGProcessingLastDuration | ミリ秒 | 平均 | 分期内の Airflow 統合ランタイムにおける最後の DAG 処理の平均所要時間。 |