Una red de acceso directo a memoria remota (RDMA) a través de Converged Ethernet (RoCE) sin soporte de IP se caracteriza por un archivo de dispositivo especial RoCE (y la ausencia de una interfaz de red) en hosts que solo pueden transmitir y recibir datos RDMA. Para configurar los valores de red, debe instalar el software uDAPL necesario y configurar ICM, asociar los nombres de red de interconexión con pseudo-direcciones IP y añadir las entradas necesarias al archivo de configuración de
Direct Access Transport (DAT).
Antes de empezar
Los pasos de este tema son configurar los valores de red de los hosts en una red RoCE que no tiene soporte de IP de tarjeta de interfaz de red. Este tema es específico de las configuraciones con
estos adaptadores: EC26, EC27, EC28, EC29, EC30. Si está configurando los valores de red de los hosts en una red RoCE con soporte de IP, consulte el tema Configuración de valores de red en una red RoCE con soporte de IP.
Asegúrese de que realiza las tareas siguientes:
Acerca de esta tarea
Debe realizar estos pasos en cada sistema principal, o LPAR, que desee que participe en la instancia de Db2 pureScale .
Los recursos de almacenamiento en memoria caché de clúster (CF) y los miembros de dan soporte a varios puertos de adaptador de comunicaciones para ayudar a los entornos Db2 pureScale a escalar y ayudar con la alta disponibilidad.
Un puerto de adaptador de comunicaciones para cada CF o miembro es todo lo que se necesita, aunque se recomienda utilizar más puertos de adaptador para aumentar el ancho de banda, añadir redundancia y permitir el uso de varios conmutadores. Este tema le guiará a través de la instalación y configuración de la Librería de Programación de Acceso Directo de Usuario ( uDAPL ) en AIX y la configuración de direcciones IP.
Procedimiento
- Inicie una sesión como usuario root.
- Asegúrese de que los arreglos de AIX estén instalados a partir de los requisitos previos de instalación en este momento.
- Si el archivo /etc/dat.conf se ha configurado anteriormente con los valores deseados, guarde la copia existente de dat.conf.
- Verifique que el sistema tenga los conjuntos de archivos correctos de
uDAPL y RoCE.
Ejecute el mandato siguiente, que se muestra con una salida de ejemplo, para verificar si se ha instalado uDAPL correctamente:
$ lslpp -l bos.mp64 devices.chrp.IBM.lhca.rte devices.common.IBM.ib.rte devices.pciex.b3154a63.rte devices.pciex.b315506714101604.rte udapl.rte
Fileset Level State Description
----------------------------------------------------------------------------
Path: /usr/lib/objrepos
bos.mp64 7.1.5.32 APPLIED Base Operating System 64-bit
Multiprocessor Runtime
devices.chrp.IBM.lhca.rte 7.1.5.30 APPLIED Infiniband Logical HCA Runtime
Environment
devices.common.IBM.ib.rte 7.1.5.30 APPLIED Infiniband Common Runtime
Environment
devices.pciex.b3154a63.rte
7.1.5.30 APPLIED 4X PCI-E DDR Infiniband Device
Driver
devices.pciex.b315506714101604.rte
7.1.4.30 COMMITTED RoCE Host Bus Adapter
(b315506714101604)
udapl.rte 7.1.5.0 APPLIED uDAPL
Path: /etc/objrepos
bos.mp64 7.1.5.32 APPLIED Base Operating System 64-bit
Multiprocessor Runtime
devices.chrp.IBM.lhca.rte 7.1.4.30 COMMITTED Infiniband Logical HCA Runtime
Environment
devices.common.IBM.ib.rte 7.1.5.30 APPLIED Infiniband Common Runtime
Environment
devices.pciex.b3154a63.rte
7.1.5.30 APPLIED 4X PCI-E DDR Infiniband Device
Driver
devices.pciex.b315506714101604.rte
7.1.4.30 COMMITTED RoCE Host Bus Adapter
(b315506714101604)
udapl.rte 7.1.5.0 APPLIED uDAPL
La salida del mandato variará dependiendo de la versión, el nivel de tecnología y el nivel de service pack.
- Si alguno de los conjuntos de archivos del paso anterior se han instalado o actualizado recientemente, arranque el sistema
ejecutando el siguiente mandato:
- Configure el subsistema de RoCE y defina las direcciones IP:
- Configure el subsistema de red RoCE en este subpaso sólo si una red RoCE nunca se ha configurado antes en el host. Ejecute el mandato smitty icm :
- Seleccione Añadir un gestor de comunicaciones InfiniBand.
- Escriba Enter y espere a que el mandato acabe.
- Salga escribiendo Esc+0.
Por ejemplo,
Infiniband Communication Manager Device Name icm
Minimum Request Retries [1]
Maximum Request Retries [7]
Minimum Response Time (msec) [100]
Maximum Response Time (msec) [4300]
Maximum Number of HCA's [256]
Maximum Number of Users [65000]
Maximum Number of Work Requests [65000]
Maximum Number of Service ID's [1000]
Maximum Number of Connections [65000]
Maximum Number of Records Per Request [64]
Maximum Queued Exception Notifications Per User [1000]
Number of MAD buffers per HCA [64]
- Reinicie los sistemas ejecutando el mandato siguiente en cada sistema principal:
- Debe asociar cada nombre de red de interconexión para un miembro o CF que se seleccionará durante la instalación con una pseudo dirección IP IPv4 en /etc/hosts. Cada nombre de red de interconexión se asocia con un puerto de adaptador de comunicaciones RoCE a través del archivo de configuración de Direct Access Transport (DAT) en el paso siguiente. Esta pseudo-dirección IP se utiliza solo para resolver el nombre de red y para uDAPL, no se le puede hacer ping. Cada pseudo-dirección IP debe ser exclusiva.
Actualice el archivo
/etc/hosts en cada uno de los hosts para que para cada host en el entorno de
Db2 pureScale planificado, el archivo incluya todas las pseudo direcciones IP de los nombres de red de interconexión en el entorno planificado.
El archivo /etc/hosts debe tener este formato: < Dirección_IP> < nombre_cualificado_completa > < nombre_abreviado>. Todos los hosts del clúster deben tener el mismo formato /etc/hosts . Por ejemplo, en un entorno de
Db2 pureScale planificado con varios puertos de adaptador de comunicaciones en los CF y cuatro miembros, el archivo de configuración
/etc/hosts podría parecerse al archivo siguiente:
10.222.1.1 cf1-en1.example.com cf1-en1
10.222.2.1 cf1-en2.example.com cf1-en2
10.222.3.1 cf1-en3.example.com cf1-en3
10.222.4.1 cf1-en4.example.com cf1-en4
10.222.1.2 cf2-en1.example.com cf2-en1
10.222.2.2 cf2-en2.example.com cf2-en2
10.222.3.2 cf2-en3.example.com cf2-en3
10.222.4.2 cf2-en4.example.com cf2-en4
10.222.1.101 member1-en1.example.com member1-en1
10.222.2.101 member1-en2.example.com member1-en2
10.222.1.102 member2-en1.example.com member2-en1
10.222.2.102 member2-en2.example.com member2-en2
10.222.1.103 member3-en1.example.com member3-en1
10.222.2.103 member3-en2.example.com member3-en2
10.222.1.104 member4-en1.example.com member4-en1
10.222.2.104 member4-en2.example.com member4-en2
Nota: Las pseudo direcciones IP de cada nombre de red para el CF y el miembro deben tener un tercer octeto diferente. Todas las pseudo-direcciones IP de los miembros deben tener el mismo tercer octeto, que es el mismo que el tercer octeto de la pseudo-dirección IP asociada con el primer puerto de adaptador de comunicaciones de cada uno de los CF y los miembros. En el ejemplo anterior,
el tercer octeto es 1
.
Ninguno de los nombres de sistema principal del ejemplo anterior está asociado con adaptadores Ethernet normales. Estos nombres de sistema principal solo se configuran para resolver los nombres de red y para
uDAPL. No responden al mandato ping.
En un entorno de cuatro miembros que utilice solamente un puerto de adaptador de comunicaciones para cada CF
y cada miembro, el archivo sería parecido al del ejemplo anterior, pero solamente contendría la primera pseudo-dirección IP de cada CF del ejemplo anterior. A
continuación, se muestra un ejemplo de ello:
10.222.1.1 cf1-en1.example.com cf1-en1
10.222.1.2 cf2-en1.example.com cf2-en1
10.222.1.101 member1-en1.example.com member1-en1
10.222.1.102 member2-en1.example.com member2-en1
10.222.1.103 member3-en1example.com member3-en1
10.222.1.104 member4-en1.example.com member4-en1
- Si el archivo de configuración de Direct Access Transport (DAT) /etc/dat.conf se ha guardado previamente, verifique que el contenido sigue siendo equivalente. Si el contenido ya no es equivalente, sustituya el dat.conf actual por la copia guardada. Si el archivo dat.conf no se ha configurado anteriormente, edite el archivo dat.conf en cada host para añadir una línea para asociar cada nombre de red de interconexión con un dispositivo uDAPL y un puerto de adaptador RoCE .
El archivo
/etc/dat.conf solo debe contener entradas para los adaptadores que se encuentran en el sistema principal local. El archivo
/etc/dat.conf de ejemplo que se instala de forma predeterminada normalmente contiene entradas irrelevantes. Para impedir un proceso del archivo innecesario, haga estos cambios:
- Mueva todas las entradas de adaptador relacionadas con el clúster de Db2 pureScale a la parte superior del archivo.
- Ponga como comentario las entradas irrelevantes o elimínelas del archivo.
A continuación se muestra un ejemplo:
<interface adapter name> u2.0 nonthreadsafe default /usr/lib/libdapl/libdapl2.a(shr_64.o) IBM.1.1 "/dev/roce0 1 hostname-en1" " "
- La serie <interface adapter name> no puede tener más de 19 caracteres de longitud.
- El nombre entre comillas ("/dev/roce0 1 hostname-en1") es la serie específica de la plataforma. La serie consta de lo siguiente:
- Archivo especial del adaptador (/dev/roce0)
- Número de puerto (1 o 2)
- El nombre de red de interconexión del miembro o CF que se ejecutará en este sistema principal.
No se da soporte al formato siguiente:
hca0 u2.0 nonthreadsafe default /usr/lib/libdapl/libdapl2.a(shr_64.o) IBM.1.1 "/dev/roce0 1 10.10.11.131" " "
Donde
10.10.11.131 es la pseudo-dirección IP correspondiente al nombre de red.
Nota: Si recibe un error de comunicación entre el miembro y el CF, es probable que el sistema haya intentado comunicarse con una interfaz de adaptador que no está configurada correctamente en el archivo de configuración de Direct Access Transport (DAT) para el puerto del adaptador.
En el caso de un
CF o miembro que utiliza dos adaptadores de comunicaciones, cada adaptador de comunicaciones que tiene 2 puertos, el
/etc/dat.conf se parecería al ejemplo siguiente:
hca0 u2.0 nonthreadsafe default /usr/lib/libdapl/libdapl2.a(shr_64.o) IBM.1.1 "/dev/roce0 1 cf1-en1" " "
hca1 u2.0 nonthreadsafe default /usr/lib/libdapl/libdapl2.a(shr_64.o) IBM.1.1 "/dev/roce0 2 cf1-en2" " "
hca2 u2.0 nonthreadsafe default /usr/lib/libdapl/libdapl2.a(shr_64.o) IBM.1.1 "/dev/roce1 1 cf1-en3" " "
hca3 u2.0 nonthreadsafe default /usr/lib/libdapl/libdapl2.a(shr_64.o) IBM.1.1 "/dev/roce1 2 cf1-en4" " "
- Verifique el subsistema de red RoCE. Verifique que los componentes de RoCE estén en el estado disponible:
Por ejemplo, en la salida del sistema del mandato siguiente que se ejecuta en un sistema principal se verifica que todos los dispositivos estén disponibles:
# lsdev -C | grep -E "Infiniband|PCIE RDMA"
icm Available Infiniband Communication Manager
roce0 Available 02-00 PCIE RDMA over Converged Ethernet RoCE Adapter
(b315506714101604)
Para comprobar el estado, utilice el mandato
ibstat -v. Verifique que los puertos y los enlaces están activos. Esta comprobación solo se aplica al puerto y a la interfaz que se hayan
identificado anteriormente en
/etc/dat.conf (por omisión el puerto 1 en
roce0):
-------------------------------------------------------------------------------
ETHERNET PORT 1 INFORMATION (roce0)
-------------------------------------------------------------------------------
Link State: UP
Link Speed: 10G XFI
Link MTU: 9600
Hardware Address: 00:02:c9:4b:97:b8
GIDS (up to 3 GIDs):
GID0 :00:00:00:00:00:00:00:00:00:00:00:02:c9:4b:97:b8
GID1 :00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00
GID2 :00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00
- Asegúrese de que la pausa global (IEEE 802.3x) esté habilitada en los conmutadores conectados a los adaptadores. Para obtener detalles, consulte: Configuración de conmutador en una red RoCE (AIX).