Kafka Connect のモニター
「 Instana 」エージェントをインストールすると、「 Kafka Connect 」センサーが自動的に展開およびインストールされます。
サポート情報
Kafka Connect センサーが現在の環境と互換性があるかどうかを確認するには、以下のサポート情報セクションをご確認ください：
対応バージョンとサポート方針
以下の表は、最新のサポート対象バージョンとサポート方針を示しています：
| テクノロジー | サポート・ポリシー | 最新技術バージョン | サポートされる最新バージョン |
|---|---|---|---|
| Kafka Connect | オンデマンド | 7.9 | 7.9 |
サポートポリシーに関する詳細については、 「センサーのサポート戦略」 を参照してください。
構成
Instana エージェントは実行中の Kafka Connect distributed インスタンスを自動的に検出するため、構成は不要です。
エージェントは、connect-distributed.sh と一緒にコマンド・ラインで提供される構成パスを使用します。
ポーリングレートの設定
注：Instana、 Kafka Connect センサー、および 1.0.5 以降のバージョンでは、 データ取り込み量を削減するためにポーリングレートを設定できるようになっています。 この機能は、セルフホスト型の Instana バックエンド311以降でサポートされています。
次の例に示すように、agent configuration.yaml ファイル poll_rate 内のパラメータを使用して、 Instana が Kafka Connect からデータやメトリクスを収集するためにポーリングを行う頻度を設定できます
com.instana.plugin.kafkaconnect:
poll_rate: 1 # Value is in seconds. Default value is 1 second.Kafka ワーカー - メトリック収集
構成データ
- バージョン
- 名前
- ブローカー数
パフォーマンス・メトリック
- コネクター数
- コネクターの始動の失敗
- タスクの開始の失敗
リバランス中
| メトリック | 説明 | 粒度 |
|---|---|---|
| 完了したリバランス数 | このワーカー kafka.connect:type=connect-worker-rebalance-metrics,name=completed-rebalances-totalによって完了されたリバランスの総数。 |
1 秒 |
| リバランスの平均時間 | このワーカーが kafka.connect:type=connect-worker-rebalance-metrics,name=rebalance-avg-time-msのリバランスに費やした平均時間 (ミリ秒)。 |
1 秒 |
| リバランス中 | このワーカーが現在リバランス中かどうか kafka.connect:type=connect-worker-rebalance-metrics,name=rebalancing。 |
1 秒 |
| 最後のリバランスからの経過時間 | このワーカーが最新のリバランスを完了してからの時間 (ミリ秒) kafka.connect:type=connect-worker-rebalance-metrics,name=time-since-last-rebalance-ms。 |
1 秒 |
Kafka コネクター - メトリック収集
構成データ
- コネクター名
- コネクター・クラス
- コネクター・タイプ
- コネクター・バージョン
コネクター・タスク数
| メトリック | 説明 | 粒度 |
|---|---|---|
| 合計 | コネクターのタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-total-task-count。 |
1 秒 |
| 実行中 | コネクターの実行中のタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-running-task-count。 |
1 秒 |
| 失敗 | コネクターの失敗したタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-failed-task-count。 |
1 秒 |
| 破棄 | コネクターの破棄されたタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-destroyed-task-count。 |
1 秒 |
| 中止 | コネクターの一時停止タスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-paused-task-count。 |
1 秒 |
| 未割り当て | コネクターの未割り当てタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-unassigned-task-count。 |
1 秒 |
タスク
| メトリック | 説明 | 粒度 |
|---|---|---|
| 名前 | タスク名 kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName}。 |
1 秒 |
| 状況 | コネクター・タスクの状況 kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName},name=status。 |
1 秒 |
| 実行中の割合 | このタスクが実行状態で費やした時間 kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName},name=running-ratio。 |
1 秒 |
| 一時停止の割合 | このタスクが一時停止状態で費やした時間 kafka.connect:type=connector-task-metrics,connector={connectorName},task={taskName},name=pause-ratio。 |
1 秒 |
シンク・タスク
| メトリック | 説明 | 粒度 |
|---|---|---|
| パーティション数 | このタスクに割り当てられたトピック・パーティションの数 kafka.connect:type=sink-task-metrics,connector={connectorName},task={taskName},name=partition-count。 |
1 秒 |
| レコード読み取りレート | このタスクについて Kafka から読み取られた 1 秒当たりの平均レコード数 kafka.connect:type=sink-task-metrics,connector={connectorName},task={taskName},name=sink-record-read-rate。 |
1 秒 |
| レコード送信レート | このタスクから送信された 1 秒当たりの平均レコード数 kafka.connect:type=sink-task-metrics,connector={connectorName},task={taskName},name=sink-record-send-rate。 |
1 秒 |
ソース・タスク
| メトリック | 説明 | 粒度 |
|---|---|---|
| レコード・ポーリング・レート | このタスクによってポーリングされた 1 秒当たりの平均レコード数 kafka.connect:type=source-task-metrics,connector={connectorName},task={taskName},name=source-record-poll-rate。 |
1 秒 |
| レコード書き込みレート | このタスクによって Kafka に書き込まれた 1 秒当たりの平均レコード数 kafka.connect:type=source-task-metrics,connector={connectorName},task={taskName},name=source-record-write-rate。 |
1 秒 |
Kafka Connect クラスター - メトリック収集
構成データ
- バージョン
ワーカー
| メトリック | 説明 | 粒度 |
|---|---|---|
| コネクターの始動の失敗 | このワーカー kafka.connect:type=connect-worker-rebalance-metrics,name=connector-startup-failure-totalによって完了されたリバランスの総数。 |
1 秒 |
| タスクの開始の失敗 | このワーカー kafka.connect:type=connect-worker-rebalance-metrics,name=task-startup-failure-totalによって完了されたリバランスの総数。 |
1 秒 |
| 完了したリバランス数 | このワーカー kafka.connect:type=connect-worker-rebalance-metrics,name=completed-rebalances-totalによって完了されたリバランスの総数。 |
1 秒 |
| リバランスの平均時間 | このワーカーが kafka.connect:type=connect-worker-rebalance-metrics,name=rebalance-avg-time-msのリバランスに費やした平均時間 (ミリ秒)。 |
1 秒 |
| リバランス中 | このワーカーが現在リバランス中かどうか kafka.connect:type=connect-worker-rebalance-metrics,name=rebalancing。 |
1 秒 |
| 最後のリバランスからの経過時間 | このワーカーが最新のリバランスを完了してからの時間 (ミリ秒) kafka.connect:type=connect-worker-rebalance-metrics,name=time-since-last-rebalance-ms。 |
1 秒 |
コネクター
| メトリック | 説明 | 粒度 |
|---|---|---|
| 名前 | コネクター名 kafka.connect:type=connect-worker-metrics,connector={name}。 |
1 秒 |
| 合計タスク数 | コネクターのタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-total-task-count。 |
1 秒 |
| 実行中のタスク数 | コネクターの実行中のタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-running-task-count。 |
1 秒 |
| 失敗したタスク数 | コネクターの失敗したタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-failed-task-count。 |
1 秒 |
| 破棄されたタスク数 | コネクターの破棄されたタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-destroyed-task-count。 |
1 秒 |
| 一時停止されたタスク数 | コネクターの一時停止タスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-paused-task-count。 |
1 秒 |
| 未割り当てのタスク数 | コネクターの未割り当てタスクの数 kafka.connect:type=connect-worker-metrics,connector={name},name=connector-unassigned-task-count。 |
1 秒 |