Configuración del archivo netmon.cf en una red RoCE (Linux)

En una red de acceso de memoria directa remota (RDMA) a través de Ethernet convergente (RoCE), se deben configurar manualmente una o más direcciones IP con capacidad de ping en el archivo de configuración de netmon.cf. El archivo netmon.cf es necesario para Reliable Scalable Cluster Technology (RSCT) para supervisar la red y asegurarse de que las interfaces se pueden hacer ping o no.

Los procedimientos documentados en esta página ya no son necesarios, ya que la prueba de actividad del puerto del adaptador se ha mejorado y automatizado. Se aplican algunas restricciones. Consulte la technote#0733765 para ver las restricciones.

Antes de empezar

Los ejemplos de este tema se basan en la figura al final de este tema, Dos CF y cuatro miembros se conectan a dos conmutadores.

Procedimiento

Para configurar el archivo de configuración netmon.cf:

  1. Inicie sesión en el sistema principal como usuario root.
  2. Recupere el nombre de dominio del gestor de clúster.
    /home/instname/sqllib/bin/db2cluster -cm -list -domain
  3. Detenga el dominio.
    /home/instname/sqllib/bin/db2cluster -cm -stop -domain domainname -force 
  4. Determine qué dirección IP se debe especificar en el archivo de configuración netmon.cf de los miembros.
    En el sistema principal del miembro, ejecute el mandato route para comprobar los puertos de adaptador de comunicaciones y la subred IP de destino asociada.
    /sbin/route | grep -v link-local
    Por ejemplo, basándose en la figura al final de este tema:
    Member 0
    [root@host3]# route | grep -v link-local
    Kernel IP routing table
    Destination	Gateway 	Genmask Flags Metric Ref Use Iface
    192.168.1.0 	* 				255.255.255.0 U 0 0 0 eth0
    192.168.2.0 	* 				255.255.255.0 U 0 0 0 eth1
    9.26.92.0 	* 				255.255.254.0 U 0 0 0 eth2
    default 	9.26.92.1 0.0.0.0 UG 0 0 0 eth2
    
    Member 2
    [root@host5]# route | grep -v link-local
    Kernel IP routing table
    Destination	Gateway 	Genmask Flags Metric Ref Use Iface
    192.168.1.0 	* 				255.255.255.0 U 0 0 0 eth0
    192.168.2.0 	* 				255.255.255.0 U 0 0 0 eth1
    9.26.92.0 	* 				255.255.254.0 U 0 0 0 eth2
    default 	9.26.92.1 0.0.0.0 UG 0 0 0 eth2
    La última columna (con nombre de columna "Iface") enumera los adaptadores del sistema principal actual. Seleccione el adaptador que se corresponde con el puerto del adaptador de comunicaciones de destino. En este ejemplo, "eth0" y "eth1" son los adaptadores RoCE de destino. Las direcciones IP correspondiente de la primera columna muestra la subred IP de destino que se utilizará en el siguiente paso. En este caso, las subredes IP son "192.168.1.0" y "192.168.2.0".
  5. Con la subred IP, utilice las interfaces IP creadas en los conmutadores 1 y 2 con los que se conecta el sistema principal actual con la misma subred IP. (La interfaz IP ya debe crearse como parte de los pasos de configuración de red RoCE ; para obtener detalles, consulte Configuración de las interfaces IP en el conmutador en una red RoCE (Linux).) En este ejemplo, suponiendo que las interfaces IP del conmutador 1 tienen direcciones IP de 192.168.1.2 y 192.168.2.2, y que el conmutador 2 tiene direcciones IP de 192.168.1.5 y 192.168.2.5, estas entradas se añaden al archivo de configuración de miembros/var/ct/cfg/netmon.cf.
    Member0 (host3)
    !REQD eth0 192.168.1.2
    !REQD eth1 192.168.2.5
    
    Member2 (host5)
    !REQD eth0 192.168.1.5
    !REQD eth1 192.168.2.2
    donde:
    • token1 - !REQD es una entidad requerida
    • token2: eth0 y eth1 son los nombres de la interfaz de adaptador RoCE en el sistema principal local.
    • token3: 192.168.1.2, 192.168.2.5, 192.168.1.5 y 192.168.2.2 son las direcciones IP externas con respuesta al mandato ping asignadas a la interfaz creada en los conmutadores.
    A continuación se muestra un ejemplo del aspecto del archivo de configuración /var/ct/cfg/netmon.cf completo para los miembros:
    Member0(host3)
    !IBQPORTONLY !ALL
    !REQD eth2 9.26.92.1
    !REQD eth0 192.168.1.2
    !REQD eth1 192.168.2.5
    !REQD eth0 192.168.1.5
    !REQD eth1 192.168.2.2
    
    Member2(host5)
    !IBQPORTONLY !ALL
    !REQD eth2 9.26.92.1
    !REQD eth0 192.168.1.2
    !REQD eth1 192.168.2.5
    !REQD eth0 192.168.1.5
    !REQD eth1 192.168.2.2
  6. Determine qué dirección IP se debe especificar en el archivo de configuración de recursos de almacenamiento en memoria caché de clúster (CF) netmon.cf .
    Para comprobar el puerto adaptador de comunicaciones y la subred IP de destino asociada, introduzca lo siguiente:
    /sbin/route | grep -v link-local
    Por ejemplo:
    Host1> $ /sbin/route | grep -v link-local
    Kernel IP routing table
    Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
    192.168.4.0     *               255.255.255.0   U     0      0        0 eth3
    192.168.3.0     *               255.255.255.0   U     0      0        0 eth1
    192.168.2.0     *               255.255.255.0   U     0      0        0 eth2
    192.168.1.0     *               255.255.255.0   U     0      0        0 eth0
    9.26.92.0       *               255.255.252.0   U     0      0        0 eth2
    default         rsb-v94-hsrp.to 0.0.0.0         UG    0      0        0 eth2
    La última columna (Iface) indica el nombre de interfaz de adaptador. En este caso, eth0, eth1, eth2 y eth3 es la única interfaz de puerto de adaptador de comunicaciones en este sistema principal. Existen cuatro subredes IP relevantes para este sistema principal.
    Las cuatro direcciones IP creadas en el conmutador (que cubre las cuatro subredes IP) deben especificarse en el archivo de configuración netmon.cf de este sistema principal. Por ejemplo:
    !IBQPORTONLY !ALL
    !REQD eth2 9.26.92.1
    !REQD eth0 192.168.1.2
    !REQD eth1 192.168.3.2
    !REQD eth7 192.168.2.2
    !REQD eth6 192.168.4.2

    Repita este paso para el host CF secundario en el clúster.

  7. Reinicie el dominio.
    /home/instname/sqllib/bin/db2cluster -cm -start -domain domainname
  8. Verifique que todos los adaptadores sean estables ejecutando el mandato lssrc :
    lssrc -ls cthats
    La salida es similar a la siguiente:
    [root@coralm234 ~]# lssrc -ls cthats
    Subsystem         Group            PID     Status
     cthats           cthats           31938   active
    Network Name   Indx Defd  Mbrs  St   Adapter ID      Group ID
    CG1            [ 0] 3     3     S    192.168.1.234   192.168.1.234
    CG1            [ 0] eth0             0x46d837fd      0x46d83801
    HB Interval = 0.800 secs. Sensitivity = 4 missed beats
    Ping Grace Period Interval = 60.000 secs.
    Missed HBs: Total: 0 Current group: 0
    Packets sent    : 560419 ICMP 0 Errors: 0 No mbuf: 0
    Packets received: 537974 ICMP 0 Dropped: 0
    NIM's PID: 31985
    CG2            [ 1] 4     4     S    9.26.93.226     9.26.93.227
    CG2            [ 1] eth2             0x56d837fc      0x56d83802
    HB Interval = 0.800 secs. Sensitivity = 4 missed beats
    Ping Grace Period Interval = 60.000 secs.
    Missed HBs: Total: 0 Current group: 0
    Packets sent    : 515550 ICMP 0 Errors: 0 No mbuf: 0
    Packets received: 615159 ICMP 0 Dropped: 0
    NIM's PID: 31988
    CG3            [ 2] 3     3     S    192.168.3.234   192.168.3.234
    CG3            [ 2] eth1             0x46d837fe      0x46d83802
    HB Interval = 0.800 secs. Sensitivity = 4 missed beats
    Ping Grace Period Interval = 60.000 secs.
    Missed HBs: Total: 0 Current group: 0
    Packets sent    : 493188 ICMP 0 Errors: 0 No mbuf: 0
    Packets received: 537949 ICMP 0 Dropped: 0
    NIM's PID: 31991
    CG4            [ 3] 2     2     S    192.168.2.234   192.168.2.234
    CG4            [ 3] eth6             0x46d83800      0x46d83803
    HB Interval = 0.800 secs. Sensitivity = 4 missed beats
    Ping Grace Period Interval = 60.000 secs.
    Missed HBs: Total: 0 Current group: 0
    Packets sent    : 470746 ICMP 0 Errors: 0 No mbuf: 0
    Packets received: 537992 ICMP 0 Dropped: 0
    NIM's PID: 31994
    CG5            [ 4] 2     2     S    192.168.4.234   192.168.4.234
    CG5            [ 4] eth7             0x46d837ff      0x46d83804
    HB Interval = 0.800 secs. Sensitivity = 4 missed beats
    Ping Grace Period Interval = 60.000 secs.
    Missed HBs: Total: 0 Current group: 0
    Packets sent    : 470750 ICMP 0 Errors: 0 No mbuf: 0
    Packets received: 538001 ICMP 0 Dropped: 0
    NIM's PID: 31997
      2 locally connected Clients with PIDs:
     rmcd( 32162) hagsd( 32035)
      Dead Man Switch Enabled:
         reset interval = 1 seconds
         trip  interval = 67 seconds
         Watchdog module in use: softdog
      Client Heartbeating Enabled. Period: 6 secs. Timeout: 13 secs.
      Configuration Instance = 1322793087
      Daemon employs no security
      Segments pinned: Text Data Stack.
      Text segment size: 650 KB. Static data segment size: 1475 KB.
      Dynamic data segment size: 2810. Number of outstanding malloc: 1165
      User time 32 sec. System time 26 sec.
      Number of page faults: 0. Process swapped out 0 times.
      Number of nodes up: 4. Number of nodes down: 0.
    Figura 1. Dos CF y cuatro miembros se conectan a dos conmutadores.
    Los dos CF y cuatro miembros se conectan a dos conmutadores.