IBM Support

QRadar: 1 秒当たりのピーク・イベントのトラブルシューティング方法

Troubleshooting


Problem

 QRadar のイベント・レートの測定は、最も重要なメトリックの 1 つです。1 秒当たりのイベント( EPS )は、ライセンスが適用される場所です。最初に RAW イベントが処理される場所は ecs-ec-ingress です。EPS レートは、システムが適切にライセンスされているか、ハードウェアの容量に対して適切なレートが得られているかを理解するために最も重要です。

Resolving The Problem

管理者が QRadar でグラフを使用する場合、1 秒当たりのイベント( EPS )の計算が正確ではない可能性があります。例としては、クイック検索のイベント・レート( EPS )がありますが、これは必ずしも正確な結果を提供するものではありません。EPS の計算には、AQL 検索やコマンド・ラインを使用することで、より良い指標を提案します。

始める前に:
ログ・アクティビティーで AQL 検索を使用するには
  • 7.3.3 patch 6 または 7.4.0 以降である必要があります。
  • Health Metrics は ecs-ec-ingress イベント・レートを表示します。Health Metrics のすべてのカスタム・イベント・プロパティーを有効にする必要があります。
    image 8518
  • コマンド・ライン・オプションを使用するには、QRadar アプライアンスへの root アクセス権限が必要となります。
  • QRadar on Cloud コンソールはコマンド・ラインのアクセスを許可しないため、管理者はピーク EPS レートを決めるために引き続き AQL 照会またはフィルタリングされた検索を使用できます。

拡張ログ・アクティビティー検索を使用したピーク EPS の判別

  1. QRadar コンソールにログインします。
  2. 「ログ・アクティビティー」タブをクリックします。
  3. 「拡張検索」をクリックします。
  4. AQL ステートメントをコピーし、検索ボックスに貼り付けます。 
    SELECT "Hostname" AS 'Hostname (custom)', MAX("Value") AS 'Value (custom) (Maximum)', 
COUNT(*) AS 'Count' from events where ( "Metric ID"='EventRate' AND "deviceType"='368' ) 
GROUP BY "Hostname" order by "Count" desc
  5. 「検索」をクリックします。

    結果:
    AQL 照会は、コンソール、イベント・コレクター、およびイベント・プロセッサーからピーク EPS 情報を抽出します。例では、グラフはコンソール、イベント・プロセッサー、およびピーク EPS を表示しています。グラフは管理者でライセンスを上回っているかどうか確認することを可能にし、高い EPS を調査することができます。
    image 8630

拡張ログ・アクティビティー検索を使用した平均 EPS の判別

  1. QRadar コンソールにログインします。
  2. 「ログ・アクティビティー」タブをクリックします。
  3. 「拡張検索」をクリックします。
  4. AQL ステートメントをコピーし、検索ボックスに貼り付けます。 
    SELECT "Hostname" AS 'Hostname (custom)', AVG("Value") AS 'Value (custom) (Average)', COUNT(*) AS
 'Count' from events where ( "Metric ID"='EventRate' AND "deviceType"='368' )
 GROUP BY "Hostname" order by "Count" desc
  5. 「検索」をクリックします。

    結果:
    AQL 照会は、コンソール、イベント・コレクター、およびイベント・プロセッサーから平均 EPS 情報を抽出します。例では、グラフはコンソール、イベント・プロセッサー、平均 EPS を表示しています。グラフは管理者でライセンスを上回っているかどうかを確認することを可能にし、EPS スパイクを調査することができます。
    image 8620

フィルター済み検索を使用したピーク EPS スパイクの調査

 AQL 検索からどのイベント・プロセッサーが高い負荷を持っているかを見つけた後、管理者は判別するために以下 2 つのフィルター済み検索を使用する必要があります。
  • どのログ・ソース・タイプがスパイクを引き起こしているか。
  • 「ログ・ソース・タイプ」のフィルターから、どのログ・ソースが最も高い EPS スパイクを引き起こしているか。
  • どのログ・ソース・タイプがスパイクを引き起こしているか
    1. QRadar コンソールにログインします。
    2. 「ログ・アクティビティー」タブをクリックします。
    3. 「フィルターの追加」をクリックします。
    4. パラメーター: イベント・プロセッサー、演算子: 次と等しい、値: AQL 検索で取得したイベント・プロセッサー を設定します。
      image 9343
    5. 「フィルターの追加」をクリックします。
    6. 「検索」>「検索の編集」の順にクリックします。
    7. 時刻範囲を入力します。
    8. 「列定義」にスクロールダウンします。
    9. テキスト・ボックスに「ログ・ソース・タイプ」を入力し、「グループ化」に追加します。
      image 9350
    10. 「名前」へ列のレイアウト名を設定します。
    11. 「列レイアウトの保存」をクリックします。
    12. 「検索」をクリックします。
    結果: ログ・ソース・タイプにより、EPS スパイクをさらに調査するための検索が作成されます。

    image 9425

  • 最も高い EPS スパイクを生成するログ・ソースの検索
    1. 「ログ・ソース・タイプ」の以前の検索から検索結果を使用します。
    2. 最も高いイベント・カウントを生成するログ・ソース・タイプについては、「ログ・ソース(固有の数)」をクリックします。
      image 9426
    3. EPS スパイクやカウントを多く発生させるログ・ソースの上位リストが別のグラフで表示されます。
    4. EPS スパイクの原因となっているものをさらに調査するには、「イベント名(固有の数)」をクリックします。
      image 9427
    5. 新しいグラフでは、高い EPS スパイクまたはカウントの原因となっているイベントが表示されます。
      image 9442

結果:
これらの検索は、あらゆるイベント・プロセッサーやログ・ソースのタイプに使用でき、高い EPS スパイクやカウントの調査を支援します。

コマンド・ラインを使用してピーク EPS を判別する

ソース・モニターは Mbean からメトリックを収集し、/var/log/qradar.log の統計を追加します。
ログからメトリックを表示するには、次の手順を使用します。ログを見る上で重要なことは、以下のとおりです。
  • Peak in the last 60s: パフォーマンスの問題を引き起こすライセンスの問題およびスパイクを追跡するために使用された直前のピーク。
  • Max Seen: ecs-ec-ingress の最後の再起動から確認された最大イベント・レート。
  • Appliance Threshold: アプライアンスのしきい値を超えた時、ライセンス・キューの使用を開始する。
  1. SSH を使用し、root ユーザーとしてコンソールにログインします。
    注: QRadar on Cloud ( QRoC )では、データ・ゲートウェイにのみログインできます。
  2. コンソール SSH から EPS を表示したいアプライアンスに接続します。
  3. コマンドを入力します。
    1. QRadar バージョン 7.4.2 またはそれ以降の実行は、次のコマンドを使用します。 
      grep -i 'ecs-ec-ingress\].*SourceMonitor.*event' /var/log/qradar.log | sed -n 's/^\(.\{15\} \).*\((60s: [0-9\.]\{1,\} eps)\).*\(Peak.*60s: [0-9\.]\{1,\} eps\).*\(Appliance Threshold.*$\)$/\1 \2 \3 \4 /p' 
      
Jan 25 14:01:29  (60s: 117.73 eps) Peak in the last 60s: 128.40 eps Appliance Threshold: 5020.00
Jan 25 14:02:29  (60s: 117.57 eps) Peak in the last 60s: 127.20 eps Appliance Threshold: 5020.00
Jan 25 14:03:29  (60s: 117.47 eps) Peak in the last 60s: 128.20 eps Appliance Threshold: 5020.00
Jan 25 14:04:29  (60s: 117.52 eps) Peak in the last 60s: 127.40 eps Appliance Threshold: 5020.00
Jan 25 14:05:34  (60s: 117.53 eps) Peak in the last 60s: 127.20 eps Appliance Threshold: 5020.00
    2. QRadar 7.3.3 から 7.4.1 では、次のコマンドを実行します。 
       grep -i 'ecs-ec-ingress\].*SourceMonitor.*event' /var/log/qradar.log | sed -n 's/^\(.\{15\} \).*\((60s: [0-9\.]\{1,\} eps)\).*\(Peak.*60s: [0-9\.]\{1,\} eps\).*\(License Threshold.*$\)$/\1 \2 \3 \4 /p'
      
Jan 22 14:55:38  (60s: 131.32 eps) Peak in the last 60s: 140.80 eps License Threshold: 5020.00
Jan 22 14:56:38  (60s: 131.37 eps) Peak in the last 60s: 139.40 eps License Threshold: 5020.00
Jan 22 14:57:38  (60s: 131.15 eps) Peak in the last 60s: 140.00 eps License Threshold: 5020.00
Jan 22 14:58:38  (60s: 131.13 eps) Peak in the last 60s: 139.80 eps License Threshold: 5020.00
Jan 22 14:59:38  (60s: 131.30 eps) Peak in the last 60s: 140.60 eps License Threshold: 5020.00
Jan 22 15:00:38  (60s: 131.30 eps) Peak in the last 60s: 140.40 eps License Threshold: 5020.00
Jan 22 15:01:38  (60s: 131.58 eps) Peak in the last 60s: 142.00 eps License Threshold: 5020.00
Jan 22 15:02:43  (60s: 131.15 eps) Peak in the last 60s: 139.80 eps License Threshold: 5020.00
結果:
注目すべきことは、最後の 60 秒間のピーク・イベントと前回の ecs-ec-ingress が再起動された以降に確認された最大イベントです。
 Mbean 照会を使用して最大 EPS を判別するには

1501、1599、QRoC データ・ゲートウェイでは、EPS レートがハードウェアの EPS 制限を超えた場合、ハードウェアの制限が適用されることがあります。

  1. SSH を使用し、コンソールにログインします。
  2. 高い EPS を持つアプライアンスに SSH で接続します。
  3. コマンド・ラインにクエリをコピーします。 
    /opt/qradar/support/jmx.sh -p 7787 -b 'com.q1labs.sem:application=ecs-ec-ingress.ecs-ec-ingress,type=sources,name=Source Monitor'
    com.q1labs.sem:application=ecs-ec-ingress.ecs-ec-ingress,type=sources,name=Source Monitor
-----------------------------------------------------------------------------------------
LongWindowLengthInSecs: 900
EventImmediateWindowAverage: 118.18450125218368
FlowRate: 0.0
FlowImmediateWindowAverage: 0.0
FlowLongWindowAverage: 0.0
ImmediateWindowLengthInSecs: 300
MaximumFlowRateSinceStartup: 0.0
EPSThreshold: 5020.0
EventLongWindowAverage: 118.18450125218368
FPSThreshold: 0.0
EventRate: 145.2
MaximumEventRateSinceStartup: 254.4

 

Document Location

Worldwide

[{"Type":"MASTER","Line of Business":{"code":"LOB24","label":"Security Software"},"Business Unit":{"code":"BU059","label":"IBM Software w\/o TPS"},"Product":{"code":"SSBQAC","label":"IBM Security QRadar SIEM"},"ARM Category":[{"code":"a8m0z000000cwsyAAA","label":"Admin Tasks"}],"ARM Case Number":"","Platform":[{"code":"PF025","label":"Platform Independent"}],"Version":"7.3.3;7.4.0;7.4.1;7.4.2;7.4.3"}]

Document Information

Modified date:
17 February 2022

UID

ibm16553532

Page Feedback