高負荷のカスタム・ルールが見つかった

38750120 -Expensive Custom Rules Found in CRE. Performance degradation was detected in the event pipeline. Found expensive custom rules in CRE.

説明

カスタム・ルール・エンジン (CRE) は、イベントがルール・セットに一致しているかどうかを検証して、アラート、オフェンス、または通知をトリガーするプロセスです。

ユーザーは、広い範囲を持つカスタム・ルール、最適化されていない正規表現パターンを使用するカスタム・ルール、「ペイロードに含まれる」テストを含むカスタム・ルール、またはルールを正規表現と結合するカスタム・ルールを作成できます。 このカスタム・ルールを使用すると、パフォーマンスが低下するため、イベントが誤って直接ストレージに経路指定される場合があります。 イベントには索引が付けられ、正規化されますが、アラートやオフェンスをトリガーしません。

複数、高負荷、または非効率なルール・テストが使用されると、最大イベント・スループット・レートが低下する可能性があり、ルール・エンジンを通過するイベントのバックログが発生します。 イベントが直接ストレージに経路指定される場合があり、この警告が表示されます。

ユーザーの対応

以下の選択肢を確認してください。

  • 通知のペイロードを確認して、パフォーマンスに影響を及ぼしているパイプライン内の高負荷のルールを判別します。

    例えば、以下のペイロードはテストを報告します。パイプラインの「ペイロード検証」ルールと報告される EPS レートは 1 秒あたり 9550 イベントであり、ルール・エンジンの最大スループットが低下する可能性があります。

    Jan 22 14:34:37 ::ffff:172.16.167.127 [ecs-ep.ecs-ep]
[CRE Stat[0]] com.q1labs.semsources.cre.CRE:
[WARN] [NOT:0040004101][172.16.167.127/- -] 
[-/- -]Expensive Custom Rules Based On Average Throughput:
Test AQL=9550.49eps
  • 「オフェンス」タブで、「ルール」をクリックし、検索ウィンドウを使用して高負荷のルールを編集するか、無効にしてください。 ルールを編集して、ログ・ソースまたは IP アドレス範囲のフィルターを適用することで、ルールを通過するデータ量を削減できます。 必要ない場合には、「ペイロードに含まれる」などの高負荷のテストを削減または削除することもできます。 「リファレンス・セット」テストは、大規模なリファレンス・セットを照会していないことを確認する必要があります。
  • SSH を使用して イベント・プロセッサー にログインし、以下のコマンドを使用して、EPS ロードのためにパーサー・スレッドが 1500 ミリ秒より長く実行されていることを確認します。

    /opt/qradar/support/threadTop.sh

    以下のコマンドを使用して、Java スレッド・スタックで regex.Pattern.Curly、referenceSet、assets、host profile、および port profile を検索します。

    /opt/qradar/support/threadTop.sh -p 7799 -s -e ".*CRE Processor.*"

    • 出力に regex.Pattern.Curly が含まれる場合、「ペイロードに含まれる」テストの問題である可能性があります。

    • 出力に referenceSet が含まれる場合、大規模なリファレンス・セットに対するテストで問題が発生した可能性があります。

    • 出力に assets、host profile、および port profile が含まれる場合、「ポートが開いているホスト (Host with port open)」テストまたは「アセット」テストで問題が発生した可能性があります。

ルールが問題ではない可能性

この通知は、イベントがルール・エンジンを迂回してストレージに経路指定されたときにトリガーされる可能性があります。 この通知を調査したときに、通知の「EPS」レートが 20,000 EPS より高い場合は、問題の所在が異なる箇所である可能性を示しています。 20,000 EPS を超えるイベントを処理できるルールは、かなり最適化されています。 「ストレージに経路指定されたイベント」がトリガーされた原因は、ルールではなく別の何かである可能性があります。 検討するその他の項目を次にリストします。

  • 長時間のデータ検索などの他の理由でシステムに高い負荷がかかっていないか。
  • /store/ のディスク使用率が 85% 以上になっているために、データ圧縮でストレージのパフォーマンスが低下している可能性はないか。
  • HA を使用していてイベント・レートが 10,000 EPS より高い場合、2 つの HA ノード間に十分な帯域幅があることを確認してください。 例えば、単一の 1Gbps 接続では、専用のクロスオーバーでもストレージのパフォーマンスが制限される場合があります。
  • 別個の「/transient/」パーティションがあるかどうか。 ない場合、一時データの圧縮解除でもストレージ・リソースが使用される可能性があるため、ストレージ要求が高くなる可能性があります。