Um guia prático para limitar a largura de banda em Do Sistema

O gerenciador de largura da banda no IBM® QRadar ® aproveita a disciplina de enfileiramento do token bucket hierárquico (HTB) que é oferecido no kernel do Linux . Para particularidades ou uso mais avançado, há muitas páginas na Internet que descrevem o que é e como funciona, incluindo:

Nota: Este artigo do blog técnico é como é e não passou por nenhuma vetagem extra.

Antes de iniciar, você terá que ajustar o arquivo bandwidthManagerCLI.sh primeiro para mudar o local do buildcpath Para editar o arquivo bandwidthManagerCLI.sh , digite edit /opt/qradar/bin/bandwidthManagerCLI.sh. Altere a terceira linha no arquivo para ler /opt/qradar/systemd/bin/buildcpath. Salve o arquivo e feche-o.

Ajuda e uso do Gerwidth Manager

O trecho de código a seguir lista o uso do Gerente de Bandwidth:

[root@m5arch06 ~]# /opt/qradar/bin/bandwidthManagerCLI.sh
usage: BandwidthManagerCLI -a <ACTION>
          -a,--action The desired action. Recognized Actions: help, add_class, add_egress_filter,
                      delete_class, delete_egress_filter
usage: add_class <OPTIONS>
          -i,--hostID    The managed host ID which uniquely identifies the host. You can optionally
                         use '-1' to indicate you wish this to be applied to all hosts in the deployment
          -n,--name      A user-friendly name for the new configuration
          -c,--classID   The desired class ID of the class to be added
          -d,--device    The device name (e.g. eth0) which this configuration will apply to. You can
                         optionally use '*' to indicate you wish to be applied to all devices
          -h,--hostname  The managed host host name. Can be used when you don't provide the host ID
          -k,--kbpsLimit The rate limit to be applied against the class in kilobytes/sec
          -p,--parentID  The parent ID for this class
          -q,--qdiscID   The desired queuing discipline ID of the egress filter to be added
usage: add_egress_filter <OPTIONS>
          -i,--hostID           The managed host ID which uniquely identifies the host. You can
                                optionally use '-1' to indicate you wish this to be applied to all hosts in the deployment
          -n,--name             A user-friendly name for the new configuration
          -P,--protocol         The protocol for the new configuration
          -d,--device           The device name (e.g. eth0) which this configuration will apply to.
                                You can optionally use '*' to indicate you wish to be applied to all devices
          -dc,--dstCIDR         [Optional] The destination CIDR for the egress filter
          -dport,--dstPort      [Optional] The destination port for the egress filter
          -dportm,--dstPortMask [Optional] The destination port mask for the egress filter. If not
                                provided, 0xffff will be used (meaning match only that port)
          -f,--filterID         The desired filter ID to be assigned to the new egress filter
          -fl,--flowID          The filter's target flow ID (which represents the minor ID of a
                                class or qdisc). Traffic matched by this filter with go to that location
          -fp,--filterPriority  The fitler's priority relative to others attached to the same parent
                                (lower number is higher priority)
          -h,--hostname         The managed host host name. Can be used when you don't provide the
                                host ID
          -ma,--matchAll        [Optional] If "true", the filter that is created will match *all*
                                incoming packets at its priority level.
          -p,--parentID         The parent ID for this egress filter
          -q,--qdiscID          The desired queuing discipline ID of the egress filter to be added
          -sc,--sourceCIDR      [Optional] The source CIDR for the egress filter
          -sport,--srcPort      [Optional] The source port for the egress filter
          -sportm,--srcPortMask [Optional] The source port mask for the egress filter. If not
                                provided, 0xffff will be used (meaning match only that port)
usage: delete_class <OPTIONS>
          -i,--hostID   The managed host ID which uniquely identifies the host. You can optionally
                        use '-1' to indicate you wish this to be applied to all hosts in the deployment
          -c,--classID  The class ID to class to delete
          -d,--device   The device name (e.g. eth0) of the configuration to be deleted
          -h,--hostname The managed host host name. Can be used when you don't provide the host ID
          -q,--qdiscID  The queuing discipline ID of the class you wish to delete
usage: delete_egress_filter <OPTIONS>
          -i,--hostID   The managed host ID which uniquely identifies the host. You can optionally
                        use '-1' to indicate you wish this to be applied to all hosts in the deployment
          -d,--device   The device name (e.g. eth0) of the configuration to be deleted
          -f,--filterID The filter ID of the filter to delete
          -h,--hostname The managed host host name. Can be used when you don't provide the host ID
[root@m5arch06 ~]#

Terminologia

Este disciplina de enfileiramento ou HTB permite definir as propriedades dos tokens e balde que são usados. (Nós não temos que nos preocupar com esse mecanismo.)
Classes

Definir chunks de largura de banda-mínimos e máximos. Eles estão dispostos em uma estrutura de árvore. Por exemplo, você tem um link Mbit de 10 bits que é compartilhado entre Do Sistema e outros aplicativos. Deseja-se garantir que Do Sistema nunca use mais de 5 Mbit / s, portanto, não saturar o link. Você define uma classe para todo o tráfego que é limitado a 5 Mbit / s e, em seguida, é possível subdividir ainda mais isso para que sua replicação do PostgreSQL não afete o desempenho da procura.

Filtros

Selecione o tráfego de rede que é colocado em cada um destes classes. Geralmente feito por combinações de IP/protocol/porta, os filtros são notavelmente flexíveis e permitem granularidade muito fina-para os nossos propósitos, vamos grudar com as combinações simples de IP/protocol/porta.

Cookbook-Exemplos

Todos os comandos são executados no console-sem necessidade de execução em um host gerenciado. Você especifica em qual host aplicar a mudança na linha de comandos do bandwidthManagerCLI.sh

Exemplo: Slowing down replicação para um host (todo o tráfego da porta 443-assumindo não criptografado)

Neste exemplo, criamos uma classe na qual limitamos a largura de banda para 10 Kbps. Em seguida, criamos filtros para mapear para essa classe. Desejamos limitar esses filtros especificamente à porta de origem 443 (porque é o console) e ao IP de destino 192.0.2.0 (o host gerenciado neste caso). O nome do host do console é m5arch06
/opt/qradar/bin/bandwidthManagerCLI.sh -a add_class -h m5arch06 -n SlowReplication -c 1 -q 30 -p 0 -k 10 -d eno1
/opt/qradar/bin/bandwidthManagerCLI.sh -a add_egress_filter -h m5arch06 -n MatchHttps -d eno1 -dc 192.0.2.0/32 -f 2 -fl 1 -fp 1 -p 0 -q 30 -sport 443 -P tcp
/opt/qradar/bin/bandwidthManagerCLI.sh -a add_egress_filter -h m5arch06 -n MatchHttps -d eno1 -dc 192.0.2.0/32 -f 3 -fl 3 -fp 1 -p 0 -q 1 -sport 443 -P tcp
Para testar isso, forçamos a replicação no host gerenciado para solicitar um dump de banco de dados completo e acabou com os seguintes resultados:
….
  2750K .......... .......... .......... .......... ..........  4% 9.02K 1h45m
  2800K .......... .......... .......... .......... ..........  4% 9.68K 1h45m
  2850K .......... .......... .......... .......... ..........  4% 9.51K 1h45m
  2900K .......... .......... .......... .......... ..........  4% 8.14K 1h45m
  2950K .......... .......... .......... .......... ..........  5% 9.00K 1h45m
  3000K .......... .......... .......... .......... ..........  5% 9.00K 1h45m
  3050K .......... .......... .......... .......... ..........  5% 9.99K 1h44m
…..

As taxas são aproximadamente (e não excedendo) 10 Kbyte / segundo.

Para testar e ver se a regulagem está ocorrindo no console, veja a saída da classe que montamos:

[root@m5arch06 ~]# tc -s class ls dev eno1 classid 30:1
class htb 30:1 root prio 1 rate 80000bit ceil 80000bit burst 1600b cburst 1600b
 Sent 8579563 bytes 7315 pkt (dropped 0, overlimits 0 requeues 0)
 rate 0bit 0pps backlog 0b 3p requeues 0
 lended: 4682 borrowed: 0 giants: 0
 tokens: -4730822 ctokens: -4730822

[root@m5arch06 ~]#

Para remover as regras de largura de banda, digite os seguintes comandos:

/opt/qradar/bin/bandwidthManagerCLI.sh -a delete_egress_filter -h m5arch06 -d eno1 -f 2
/opt/qradar/bin/bandwidthManagerCLI.sh -a delete_egress_filter -h m5arch06 -d eno1 -f 3
/opt/qradar/bin/bandwidthManagerCLI.sh -a delete_class -h m5arch06 -c 1 -q 30 -d eno1
Nota: Sem remover as regras de largura de banda, esses filtros e classes permanecerão persistentes através de reboots, etc, e Do Sistema continuará a respeitá-los através de patches.

Exemplo: Limitando toda a largura de banda entre o console e um host gerenciado

Estaremos monitorando a largura de banda no console e no setup a seguir:

  • m5arch06 (198.51.100.0) é o console
  • m5arch07 (192.0.2.0) é o host gerenciado
/opt/qradar/bin/bandwidthManagerCLI.sh -a add_class -h m5arch06 -n SlowCommunicationToHost -c 1 -q 30 -p 0 -k 10 -d eno1

Inclua filtros para combinar com a disciplina de classe e queuing digitando o seguinte comando:

/opt/qradar/bin/bandwidthManagerCLI.sh -a add_egress_filter -h m5arch06 -n MatchToIP -d eno1 -dc 192.0.2.0/32 -f 2 -fl 1 -fp 1 -p 0 -q 30 -P tcp
/opt/qradar/bin/bandwidthManagerCLI.sh -a add_egress_filter -h m5arch06 -n MatchToIP -d eno1 -dc 192.0.2.0/32 -f 3 -fl 3 -fp 1 -p 0 -q 1 -P tcp

Se desejar regular a largura da banda no host gerenciado (observe a mudança para o hostname ao qual eles se aplicam e o CIDR de destino), digite o comando a seguir:

/opt/qradar/bin/bandwidthManagerCLI.sh -a add_class -h m5arch07 -n SlowCommunicationToHost -c 1 -q 30 -p 0 -k 10 -d eno1
Inclua filtros para combinar com a disciplina de classe e queuing digitando o seguinte comando:
/opt/qradar/bin/bandwidthManagerCLI.sh -a add_egress_filter -h m5arch07 -n MatchToIP -d eno1 -dc 198.51.100.0/32 -f 2 -fl 1 -fp 1 -p 0 -q 30 -P tcp
/opt/qradar/bin/bandwidthManagerCLI.sh -a add_egress_filter -h m5arch07 -n MatchToIP -d eno1 -dc 198.51.100.0/32 -f 3 -fl 3 -fp 1 -p 0 -q 1 -P tcp

Por fim, para excluir do console e do host gerenciado, digite o seguinte comando:

/opt/qradar/bin/bandwidthManagerCLI.sh -a delete_egress_filter -h m5arch06 -d eno1 -f 2
/opt/qradar/bin/bandwidthManagerCLI.sh -a delete_egress_filter -h m5arch06 -d eno1 -f 3
/opt/qradar/bin/bandwidthManagerCLI.sh -a delete_class -h m5arch06 -c 1 -q 30 -d eno1

/opt/qradar/bin/bandwidthManagerCLI.sh -a delete_egress_filter -h m5arch07 -d eno1 -f 2
/opt/qradar/bin/bandwidthManagerCLI.sh -a delete_egress_filter -h m5arch07 -d eno1 -f 3
/opt/qradar/bin/bandwidthManagerCLI.sh -a delete_class -h m5arch07 -c 1 -q 30 -d eno1

Exemplo: Adicionando as alterações via SQL e poking Mbeans a fim de que as alterações surtem efeito (um pouco mais rápido e mais scriptable)

Este exemplo usa a mesma configuração que no primeiro exemplo, mas inserimos em PostgreSQL em vez de esperar que o gerenciador de largura da banda inicialize estruturas e faça tudo isso funcionar para nós.

Há duas tabelas relevantes para a configuração do gerenciador de largura de banda:
  • A tabela bandwidth_configuration contém todas as informações de classe / largura de banda:
    qradar=# \d bandwidth_configuration
    Table "public.bandwidth_configuration"
     Column     |          Type          |                             Modifiers                             
----------------+------------------------+------------------------------------------------------------
 sequenceid     | bigint                 | not null default nextval('bandwidth_configuration_seq'::regclass)
 appname        | character varying(100) | not null
 mh_id          | bigint                 | not null
 device         | character varying(100) | not null
 qdisc_id       | integer                | not null
 class_id       | integer                | not null
 parent_id      | integer                | not null
 bandwidth_kbps | bigint                 | not null
 created_by     | character varying(100) |
  • O bandwidth_egress_filter contém todos os filtros:
    qradar=# \d bandwidth_egress_filter
    Table "public.bandwidth_egress_filter"
     Column      |          Type          |                             Modifiers                             
-----------------+------------------------+-----------------------------------------------------------
 sequenceid      | bigint                 | not null default nextval('bandwidth_egress_filter_seq'::regclass)
 appname         | character varying(100) | not null
 mh_id           | bigint                 | not null
 device          | character varying(100) | not null
 qdisc_id        | integer                | not null
 parent_id       | integer                | not null
 filter_id       | integer                | not null
 flow_id         | integer                | not null
 filter_priority | integer                | not null
 src_port        | integer                |
 src_port_mask   | integer                |
 src_cidr        | character varying(45)  |
 dst_port        | integer                |
 dst_port_mask   | integer                |
 dst_cidr        | character varying(45)  |
 match_all       | boolean                | not null default false
 created_by      | character varying(100) |
 protocol        | character varying(4)   |

Usando a configuração a partir de exemplo 1, acabamos com SQL que se parece com o seguinte trecho:

INSERT INTO bandwidth_configuration (appname, mh_id, device, qdisc_id, class_id, parent_id, bandwidth_kbps, created_by) VALUES ('SlowReplication', 53, 'eno1', 30, 1, 0, 10, 'SQL_Insert');
INSERT INTO bandwidth_egress_filter (appname, mh_id, device, qdisc_id, parent_id, filter_id, flow_id, filter_priority, src_port, src_port_mask, dst_cidr, created_by, protocol) VALUES ('MatchHttps', 53, 'eno1', 30, 0, 2, 1, 1, 443, 65535, '192.0.2.0/32', 'SQL_Insert', 'ip');
INSERT INTO bandwidth_egress_filter (appname, mh_id, device, qdisc_id, parent_id, filter_id, flow_id, filter_priority, src_port, src_port_mask, dst_cidr, created_by, protocol) VALUES ('MatchHttps', 53, 'eno1', 1, 0, 3, 3, 1, 443, 65535, '192.0.2.0/32', 'SQL_Insert', 'ip');

Agora, cutucamos o Mbean e atualizamos sua configuração:

[root@m5arch06 ~]# /opt/qradar/support/jmx.sh 7778 'com.q1labs.hostcontext.bm:application=hostcontext.hostcontext,type=BandwidthManager' reloadConfig

Invoking operation: reloadConfig ( )
Result: true

[root@m5arch06 ~]#

E pronto! A aula está de volta:

[root@m5arch06 ~]# tc class ls dev eno1
class prio 1:1 parent 1: leaf 10:
class prio 1:2 parent 1: leaf 20:
class prio 1:3 parent 1: leaf 30:
class prio 1:4 parent 1: leaf 40:
class prio 1:5 parent 1: leaf 50:
class prio 1:6 parent 1: leaf 60:
class prio 1:7 parent 1: leaf 70:
class htb 30:1 root prio 1 rate 80000bit ceil 80000bit burst 1600b cburst 1600b
[root@m5arch06 ~]#

Em seguida, deletamos as entradas no banco de dados e recarregamos novamente:

[root@m5arch06 ~]# psql -U qradar -c "DELETE from bandwidth_configuration"
DELETE 1
[root@m5arch06 ~]# psql -U qradar -c "DELETE from bandwidth_egress_filter"
DELETE 2
[root@m5arch06 ~]# /opt/qradar/support/jmx.sh 7778 'com.q1labs.hostcontext.bm:application=hostcontext.hostcontext,type=BandwidthManager' reloadConfig

Invoking operation: reloadConfig ( )
Result: true

[root@m5arch06 ~]#

E pronto! A classe desaparece novamente:

[root@m5arch06 ~]# tc class ls dev eno1
class prio 1:1 parent 1: leaf 10:
class prio 1:2 parent 1: leaf 20:
class prio 1:3 parent 1: leaf 30:
class prio 1:4 parent 1: leaf 40:
class prio 1:5 parent 1: leaf 50:
class prio 1:6 parent 1: leaf 60:
class prio 1:7 parent 1: leaf 70:
[root@m5arch06 ~]#