Se ha encontrado una regla personalizada costosa

38750120 -Expensive Custom Rules Found in CRE. Performance degradation was detected in the event pipeline. Found expensive custom rules in CRE.

Explicación

El motor de reglas personalizadas (CRE) es un proceso que valida si un suceso coincide con un conjunto de reglas y luego desencadena alertas, delitos o notificaciones.

Un usuario puede crear una regla personalizada que tiene un ámbito grande, utiliza un patrón que no es eficiente, incluye pruebas La carga útil contiene o combina la regla con expresiones regulares. Cuando se utiliza esta regla personalizada, afecta negativamente al rendimiento, lo que puede provocar que los sucesos se direccionen incorrectamente al almacenamiento. Los sucesos se indexan y se normalizan pero no desencadenan alertas o delitos.

Cuando se utilizan varias pruebas de regla costosas o ineficientes, se puede reducir la tasa de rendimiento de sucesos máxima, produciendo retrasos para el paso de los sucesos por el motor de reglas. Los sucesos se pueden direccionar directamente al almacenamiento y se visualiza este aviso.

Respuesta del usuario

Revise las opciones siguientes:

  • Revise la carga útil de la notificación para determinar qué regla costosa del conducto afecta al rendimiento.

    Por ejemplo, la siguiente carga útil informa de la prueba: regla "Verificación de carga útil" en el conducto y la velocidad de EPS notificada es de 9550 sucesos por segundo, lo que potencialmente reduce el rendimiento máximo del motor de reglas.

    Jan 22 14:34:37 ::ffff:172.16.167.127 [ecs-ep.ecs-ep]
[CRE Stat[0]] com.q1labs.semsources.cre.CRE:
[WARN] [NOT:0040004101][172.16.167.127/- -] 
[-/- -]Expensive Custom Rules Based On Average Throughput:
Test AQL=9550.49eps
  • En la pestaña Delitos, pulse Reglas y utilice la ventana de búsqueda para encontrar y editar o inhabilitar la regla costosa. Al editar la regla, puede reducir la cantidad de datos que pasa por la regla, aplicando un filtro de origen de registro o de rango de direcciones IP. Las pruebas costosas, como por ejemplo La carga útil contiene, se pueden reducir o eliminar si no son necesarias. Las pruebas de conjunto de referencia se deben recuperar para asegurarse de que no están consultando un conjunto de referencia grande.
  • Utilice SSH para iniciar sesión en el Procesador de sucesos y verifique que las hebras del analizador se estén ejecutando durante más de 1500 milisegundos para cargas EPS utilizando el mandato siguiente:

    /opt/qradar/support/threadTop.sh

    Busque la pila de hebra Java para regex.Pattern.Curly, referenceSet, assets, host profile y port profile mediante el mandato siguiente:

    /opt/qradar/support/threadTop.sh -p 7799 -s -e ".*CRE Processor.*"

    • Si la salida contiene regex.Pattern.Curly, es posible que haya problemas con las pruebas La carga útil contiene.

    • Si la salida contiene referenceSet, es posible que haya problemas con pruebas contra conjuntos de referencia grandes.

    • Si la salida contiene assets, host profiley port profile, pueden producirse problemas con Host con puerto abierto pruebas o pruebas de activos.

Es posible que las reglas no sean el problema

Esta notificación se puede desencadenar cuando los sucesos se direccionan al almacenamiento alrededor del motor de reglas. Si, cuando investiga este aviso, la velocidad de "EPS" de la notificación es mayor que ~20.000 EPS, esto puede indicar que el problema puede estar en otra parte. Una regla que puede procesar sucesos por encima de 20.000 EPS está bastante optimizada. Es posible que la situación que desencadenó los 'sucesos direccionados al almacenamiento' no sea una regla, sino que sea otra cosa. A continuación se indican otros elementos a tener en cuenta.

  • ¿El sistema soporta una carga más elevada por otras razones, como por ejemplo la búsqueda de datos a largo plazo?
  • ¿La utilización de disco está al 85% o más "on/store" y posiblemente la compresión de datos está afectando al rendimiento del almacenamiento?
  • ¿Si se está utilizando HA y la velocidad de sucesos es superior a 10.000 EPS, asegúrese de que hay suficiente banda ancha entre los dos nodos de HA. Por ejemplo, una sola conexión de 1Gbps, incluso en un cruce dedicado, puede limitar el rendimiento del almacenamiento.
  • Si hay una partición "/transient/" separada. Si no es así, la descompresión de datos temporal también puede utilizar recursos de almacenamiento y contribuir a las demandas elevadas de almacenamiento.