Détection d'une règle personnalisée onéreuse

38750120 -Expensive Custom Rules Found in CRE. Performance degradation was detected in the event pipeline. Found expensive custom rules in CRE.

Explication

Le moteur de règles personnalisées (CRE) est un processus qui vérifie si un événement correspond à un ensemble de règles, puis déclenche des alertes, des infractions ou des notifications.

Un utilisateur peut créer une règle personnalisée dont la portée est étendue, qui utilise un canevas d'expression régulière qui n'est pas efficace, qui inclut des tests Le contenu contient ou associe la règle à des expressions régulières. Lorsque cette règle personnalisée est utilisée, elle a un impact négatif sur les performances, ce qui peut causer des erreurs lors de l'acheminement direct des événements vers l'espace de stockage. Les événements sont indexés et normalisés mais ils ne déclenchent pas d'alertes ou d'infractions.

Lorsque plusieurs tests de règles onéreuses ou inefficaces sont utilisés, le débit d'événement maximum peut être réduit, ce qui entraîne un retard des événements passant par le moteur de règles. es événements peuvent être acheminés directement vers le stockage et cet avertissement s'affiche.

Réponse utilisateur

Effectuez les vérifications suivantes :

  • Vérifiez le contenu de la notification afin de déterminer la règle onéreuse du pipeline qui a une incidence sur les performances.

    Par exemple, le contenu suivant signale le test: règle "Payload Verification" dans le pipeline et le taux d'EPS signalé est de 9550 événements par seconde, ce qui réduit potentiellement le débit maximal du moteur de règles.

    Jan 22 14:34:37 ::ffff:172.16.167.127 [ecs-ep.ecs-ep]
[CRE Stat[0]] com.q1labs.semsources.cre.CRE:
[WARN] [NOT:0040004101][172.16.167.127/- -] 
[-/- -]Expensive Custom Rules Based On Average Throughput:
Test AQL=9550.49eps
  • Dans l'onglet Infractions, cliquez sur Règles et utilisez la fenêtre de recherche pour identifier et modifier ou désactiver la règle onéreuse. Si vous éditez la règle, vous pouvez réduire la quantité de donnés qui passe par le règle, en appliquant un filtre de source de journal ou de plage d'adresses IP. Les tests onéreux, comme "Le contenu contient", peuvent aussi être réduits ou retirés, s'ils ne sont pas nécessaires. Les tests de l'ensemble de références doivent être passés en revue afin de vérifier qu'ils n'interrogent pas un grand ensemble de référence.
  • Utilisez SSH pour vous connecter au processeur d'événement et vérifiez que les unités d'exécution de l'analyseur syntaxique s'exécutent pendant plus de 1500 millisecondes pour les charges EPS à l'aide de la commande suivante:

    /opt/qradar/support/threadTop.sh

    Dans la pile d'unités d'exécution Java, recherchez regex.Pattern.Curly, referenceSet, assets, host profile et port profile à l'aide de la commande suivante :

    /opt/qradar/support/threadTop.sh -p 7799 -s -e ".*CRE Processor.*"

    • Si la sortie contient regex.Pattern.Curly, des problèmes liés aux tests Payload contains sont possibles.

    • Si la sortie contient referenceSet, des problèmes peuvent se produire au niveau des tests sur des ensembles de références volumineux.

    • Si la sortie contient assets, host profile et port profile, des problèmes peuvent se produire au niveau des tests Host with port open ou des tests d'actifs.

Les règles ne sont peut-être pas à l'origine du problème

Cette notification peut se déclencher lorsque des événements sont routés vers l'espace de stockage du moteur de règles. Lorsque vous examinez cette remarque, si le débit d'EPS dans la notification est supérieur à ~20 000 EPS, cela peut indiquer que le problème est ailleurs. Une règle qui peut traiter des événements au-delà de 20 000 EPS est correctement optimisée. La situation qui a déclenché les 'événements routés vers l'espace de stockage' n'est peut-être pas une règle, il doit s'agir d'autre chose. Les autres éléments à considérer sont présentés ci-dessous.

  • Le système est-il soumis à une plus forte charge pour d'autres raisons, par exemple une recherche de données de longue durée ?
  • Le niveau d'utilisation des disque est-il égal ou supérieur à 85% "on/store", et une compression de données peut-elle éventuellement avoir une incidence sur les performances de stockage ?
  • Si la haute disponibilité est utilisée, et que les débits d'événements sont supérieurs à 10 000 EPS, assurez-vous qu'il y a suffisamment de bande passante entre les deux noeuds à haute disponibilité. Par exemple, une simple connexion à 1 Gbit/s, même dans un croisement dédié, peut limiter les performances de stockage.
  • Existe-t-il une partition "/transient/" distincte ? Si tel n'est pas le cas, il est possible que la décompression de données temporaires utilise également des ressources de stockage et contribue à des demandes de stockage élevées.