Kostenintensive angepasste Regel gefunden

38750120 -Expensive Custom Rules Found in CRE. Performance degradation was detected in the event pipeline. Found expensive custom rules in CRE.

Erläuterung

Die angepasste Regelengine (Custom Rules Engine, CRE) ist ein Prozess, der prüft, ob ein Ereignis einem Regelsatz entspricht, und anschließend Alerts, Angriffe oder Benachrichtigungen auslöst.

Ein Benutzer kann eine angepasste Regel erstellen, die einen umfangreichen Geltungsbereich hat, einen regulären Ausdruck enthält, der nicht effizient ist, Tests zur Nutzlast enthält oder die Regel mit regulären Ausdrücken kombiniert. Wenn diese angepasste Regel verwendet wird, hat dies negative Auswirkungen auf die Leistung, was dazu führen kann, dass Ereignisse fälschlicherweise direkt an den Speicher weitergeleitet werden. Ereignisse werden indiziert und normalisiert, sie lösen aber keine Warnungen oder Vergehen aus.

Wenn mehrere, ressourcenintensive oder ineffiziente Regeltests verwendet werden, kann die maximale Ereignisdurchsatzrate verringert werden, was dazu führt, dass Rückstände von Ereignissen die Regelengine durchlaufen. Ereignisse werden möglicherweise direkt in den Speicher weitergeleitet und diese Warnung wird angezeigt.

Benutzeraktion

Prüfen Sie folgende Optionen:

  • Überprüfen Sie die Nutzdaten der Benachrichtigung, um zu ermitteln, welche ressourcenintensive Regel in der Pipeline sich auf die Leistung auswirkt.

    Beispiel: Die folgenden Nutzdaten melden den Test: Regel "Nutzdatenprüfung" in der Pipeline und die gemeldete EPS-Rate beträgt 9550 Ereignisse pro Sekunde, wodurch der maximale Durchsatz der Regelengine möglicherweise reduziert wird.

    Jan 22 14:34:37 ::ffff:172.16.167.127 [ecs-ep.ecs-ep]
[CRE Stat[0]] com.q1labs.semsources.cre.CRE:
[WARN] [NOT:0040004101][172.16.167.127/- -] 
[-/- -]Expensive Custom Rules Based On Average Throughput:
Test AQL=9550.49eps
  • Klicken Sie auf der Registerkarte Angriffe auf Regeln und suchen Sie im Suchfenster nach der kostenintensiven Regel und bearbeiten oder inaktivieren Sie die Regel. Durch das Bearbeiten der Regel können Sie die Datenmenge reduzieren, die die Regel durchläuft, indem Sie einen Filter für die Protokollquelle oder den IP-Adressbereich anwenden. Ressourcenintensive Tests wie beispielsweise Nutzdaten können ebenfalls reduziert oder, falls sie nicht erforderlich sind, entfernt werden. Referenzsettests sollten überprüft werden, um sicherzustellen, dass sie kein umfangreiches Referenzset abfragen.
  • Melden Sie sich über SSH beim Ereignisprozessor an und überprüfen Sie mit dem folgenden Befehl, ob Parser-Threads für EPS-Ladevorgänge länger als 1500 Millisekunden aktiv sind:

    /opt/qradar/support/threadTop.sh

    Durchsuchen Sie den Java-Thread-Stack mit dem folgenden Befehl nach regex.Pattern.Curly, referenceSet, assets, host profile und port profile:

    /opt/qradar/support/threadTop.sh -p 7799 -s -e ".*CRE Processor.*"

    • Wenn die Ausgabe regex.Pattern.Curly enthält, sind Probleme mit Nutzdaten enthalten Tests möglich.

    • Wenn die Ausgabe referenceSet enthält, können Probleme bei Tests für große Referenzsets auftreten.

    • Wenn die Ausgabe assets, host profile und port profile enthält, können Probleme mit Host mit offenem Port Tests oder Assettests auftreten.

Die Regeln sind vielleicht nicht das Problem

Diese Benachrichtigung kann ausgelöst werden, wenn Ereignisse um die Regelengine an den Speicher weitergeleitet werden. Wenn Sie den Hinweis prüfen und die Rate von "EPS" in der Benachrichtigung höher als ~20.000 EPS ist, kann dies darauf hinweisen, dass sich der Fehler an anderer Stelle befindet. Eine Regel kann Ereignisse von mehr als 20.000 EPS ausreichend optimiert verarbeiten. Bei der Situation, durch die 'Ereignisse an Speicher weitergeleitet' ausgelöst wurde, handelt es sich möglicherweise nicht um eine Regel, sondern um einen anderen Vorgang. Im Folgenden werden die anderen Punkte aufgeführt, die beachtet werden sollten.

  • Hat das System aus anderen Gründen eine hohe Auslastung, beispielsweise wegen einer Langzeitdatensuche?
  • Liegt die Plattenbelegung unter '/store' bei 85% oder höher und die Datenkomprimierung wirkt sich möglicherweise auf die Speicherleistung aus?
  • Falls Hochverfügbarkeit verwendet wird und die Ereignisraten bei über 10.000 EPS liegen, stellen Sie sicher, dass eine ausreichende Bandbreite zwischen den beiden HA-Knoten vorhanden ist. Beispielsweise kann eine einzelne Verbindung mit 1 GB/s in einem dedizierten Crossover die Speicherleistung begrenzen.
  • Gibt es eine separate "/transiente/" Partition. Falls nicht, kann auch die temporäre Datenkomprimierung Speicherressourcen nutzen und zum hohen Speicherbedarf beitragen.