RoCE 네트워크에서 netmon.cf 파일 설정 (Linux)

변환된 이더넷(RoCE)을 통한 원격 직접 메모리 액세스(RDMA) 네트워크에서는 하나 이상의 ping 가능한 IP 주소를 netmon.cf 구성 파일에 수동으로 설정해야 합니다. netmon.cf 파일은 네트워크를 모니터하고 인터페이스가 ping 가능한지 여부를 확인하기 위해 RSCT ( Reliable Scalable Cluster Technology ) 에 필요합니다.

V11.1.4.4부터 어댑터 포트 활성 테스트가 개선되고 자동화되었으므로 이 페이지에 설명된 프로시저가 더 이상 필요하지 않습니다. 일부 제한사항이 적용됩니다. 제한사항은 technote#0733765 를 참조하십시오.

시작하기 전에

이 주제의 예는 이 주제의 끝에 있는 그림을 기반으로 합니다. 두 개의 CF 및 두 개의 스위치에 연결된 네 개의 멤버.

프로시저

netmon.cf 구성 파일을 설정하려면 다음 작업을 수행하십시오.

루트로 호스트에 로그인하십시오.
클러스터 관리자 도메인 이름을 검색하십시오.
```
/home/instname/sqllib/bin/db2cluster -cm -list -domain
```

도메인을 중지하십시오.

/home/instname/sqllib/bin/db2cluster -cm -stop -domain domainname -force

멤버의 netmon.cf 구성 파일에 입력해야 하는 IP 주소를 판별하십시오.
멤버의 호스트에서 통신 어댑터 포트 및 연관된 대상 IP 서브넷을 확인하려면 route 명령을 실행하십시오.
```
/sbin/route | grep -v link-local
```
예를 들어, 이 주제의 끝에 있는 그림을 기반으로 합니다.
```
Member 0
[root@host3]# route | grep -v link-local
Kernel IP routing table
Destination	Gateway 	Genmask Flags Metric Ref Use Iface
192.168.1.0 	* 				255.255.255.0 U 0 0 0 eth0
192.168.2.0 	* 				255.255.255.0 U 0 0 0 eth1
9.26.92.0 	* 				255.255.254.0 U 0 0 0 eth2
default 	9.26.92.1 0.0.0.0 UG 0 0 0 eth2

Member 2
[root@host5]# route | grep -v link-local
Kernel IP routing table
Destination	Gateway 	Genmask Flags Metric Ref Use Iface
192.168.1.0 	* 				255.255.255.0 U 0 0 0 eth0
192.168.2.0 	* 				255.255.255.0 U 0 0 0 eth1
9.26.92.0 	* 				255.255.254.0 U 0 0 0 eth2
default 	9.26.92.1 0.0.0.0 UG 0 0 0 eth2
```
(컬럼 이름이 "Iface"인) 마지막 컬럼에는 현재 호스트의 어댑터가 나열됩니다. 대상 통신 어댑터 포트에 해당되는 어댑터를 선택하십시오. 이 예에서 "eth0" 및 "eth1"은 대상 RoCE 어댑터입니다. 첫 번째 컬럼의 해당 IP 주소는 다음 단계에서 사용되는 대상 IP 서브넷을 나타냅니다. 이 경우 IP 서브넷은 "192.168.1.0" 및 "192.168.2.0"입니다.
IP 서브넷과 함께, 현재 호스트가 동일한 IP 서브넷을 사용하여 연결하는 스위치 1 및 스위치 2에서 작성된 IP 인터페이스를 사용하십시오. (IP 인터페이스는 RoCE 네트워크 구성 단계의 일부로 이미 작성되어 있어야 합니다. 세부사항은 RoCE 네트워크의 스위치에서 IP 인터페이스 설정 (Linux)을 참조하십시오.) 이 예에서는 스위치 1의 IP 인터페이스에 192.168.1.2 및 192.168.2.2의 IP 주소가 있고 스위치 2에 192.168.1.5 및 192.168.2.5의 IP 주소가 있다고 가정하고, 이 항목이 멤버 구성 파일/var/ct/cfg/netmon.cf에 추가됩니다.
```
Member0 (host3)
!REQD eth0 192.168.1.2
!REQD eth1 192.168.2.5

Member2 (host5)
!REQD eth0 192.168.1.5
!REQD eth1 192.168.2.2
```
여기서:
- token1 - !REQD는 필수 엔티티임
- token2 - eth0 및 eth1 항목은 로컬 호스트의 RoCE 어댑터 인터페이스 이름입니다.
- token3 - 192.168.1.2, 192.168.2.5, 192.168.1.5 및 192.168.2.2는 스위치에서 작성된 인터페이스에 지정된 외부 ping 가능 IP 주소입니다.
다음은 멤버에 대한 전체 구성 파일 /var/ct/cfg/netmon.cf의 예입니다.
```
Member0(host3)
!IBQPORTONLY !ALL
!REQD eth2 9.26.92.1
!REQD eth0 192.168.1.2
!REQD eth1 192.168.2.5
!REQD eth0 192.168.1.5
!REQD eth1 192.168.2.2

Member2(host5)
!IBQPORTONLY !ALL
!REQD eth2 9.26.92.1
!REQD eth0 192.168.1.2
!REQD eth1 192.168.2.5
!REQD eth0 192.168.1.5
!REQD eth1 192.168.2.2
```
클러스터 캐싱 기능 (CF) netmon.cf 구성 파일에 입력해야 하는 IP 주소를 판별하십시오.
통신 어댑터 포트 및 연관된 대상 IP 서브넷을 확인하려면 다음을 입력하십시오.
```
/sbin/route | grep -v link-local
```
예를 들면, 다음과 같습니다.
```
Host1> $ /sbin/route | grep -v link-local
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.4.0     *               255.255.255.0   U     0      0        0 eth3
192.168.3.0     *               255.255.255.0   U     0      0        0 eth1
192.168.2.0     *               255.255.255.0   U     0      0        0 eth2
192.168.1.0     *               255.255.255.0   U     0      0        0 eth0
9.26.92.0       *               255.255.252.0   U     0      0        0 eth2
default         rsb-v94-hsrp.to 0.0.0.0         UG    0      0        0 eth2
```
마지막 컬럼(Iface)은 어댑터 인터페이스 이름을 표시합니다. 이러한 경우 eth0, eth1, eth2 및 eth3이 이 호스트에서 유일한 통신 어댑터 포트 인터페이스입니다. 4개의 IP 서브넷이 이 호스트에 관련되어 있습니다.
스위치에서 작성된 네 개의 IP 주소 모두(네 개의 IP 서브넷 모두 적용) 이 호스트의 netmon.cf 구성 파일에 입력해야 합니다. 예를 들면, 다음과 같습니다.
```
!IBQPORTONLY !ALL
!REQD eth2 9.26.92.1
!REQD eth0 192.168.1.2
!REQD eth1 192.168.3.2
!REQD eth7 192.168.2.2
!REQD eth6 192.168.4.2
```
클러스터의 2차 CF 호스트에 대해 이 단계를 반복하십시오.

도메인을 재시작하십시오.

/home/instname/sqllib/bin/db2cluster -cm -start -domain domainname

lssrc 명령을 실행하여 모든 어댑터가 안정적인지 확인하십시오.

lssrc -ls cthats

출력은 다음과 유사합니다.

[root@coralm234 ~]# lssrc -ls cthats
Subsystem         Group            PID     Status
 cthats           cthats           31938   active
Network Name   Indx Defd  Mbrs  St   Adapter ID      Group ID
CG1            [ 0] 3     3     S    192.168.1.234   192.168.1.234
CG1            [ 0] eth0             0x46d837fd      0x46d83801
HB Interval = 0.800 secs. Sensitivity = 4 missed beats
Ping Grace Period Interval = 60.000 secs.
Missed HBs: Total: 0 Current group: 0
Packets sent    : 560419 ICMP 0 Errors: 0 No mbuf: 0
Packets received: 537974 ICMP 0 Dropped: 0
NIM's PID: 31985
CG2            [ 1] 4     4     S    9.26.93.226     9.26.93.227
CG2            [ 1] eth2             0x56d837fc      0x56d83802
HB Interval = 0.800 secs. Sensitivity = 4 missed beats
Ping Grace Period Interval = 60.000 secs.
Missed HBs: Total: 0 Current group: 0
Packets sent    : 515550 ICMP 0 Errors: 0 No mbuf: 0
Packets received: 615159 ICMP 0 Dropped: 0
NIM's PID: 31988
CG3            [ 2] 3     3     S    192.168.3.234   192.168.3.234
CG3            [ 2] eth1             0x46d837fe      0x46d83802
HB Interval = 0.800 secs. Sensitivity = 4 missed beats
Ping Grace Period Interval = 60.000 secs.
Missed HBs: Total: 0 Current group: 0
Packets sent    : 493188 ICMP 0 Errors: 0 No mbuf: 0
Packets received: 537949 ICMP 0 Dropped: 0
NIM's PID: 31991
CG4            [ 3] 2     2     S    192.168.2.234   192.168.2.234
CG4            [ 3] eth6             0x46d83800      0x46d83803
HB Interval = 0.800 secs. Sensitivity = 4 missed beats
Ping Grace Period Interval = 60.000 secs.
Missed HBs: Total: 0 Current group: 0
Packets sent    : 470746 ICMP 0 Errors: 0 No mbuf: 0
Packets received: 537992 ICMP 0 Dropped: 0
NIM's PID: 31994
CG5            [ 4] 2     2     S    192.168.4.234   192.168.4.234
CG5            [ 4] eth7             0x46d837ff      0x46d83804
HB Interval = 0.800 secs. Sensitivity = 4 missed beats
Ping Grace Period Interval = 60.000 secs.
Missed HBs: Total: 0 Current group: 0
Packets sent    : 470750 ICMP 0 Errors: 0 No mbuf: 0
Packets received: 538001 ICMP 0 Dropped: 0
NIM's PID: 31997
  2 locally connected Clients with PIDs:
 rmcd( 32162) hagsd( 32035)
  Dead Man Switch Enabled:
     reset interval = 1 seconds
     trip  interval = 67 seconds
     Watchdog module in use: softdog
  Client Heartbeating Enabled. Period: 6 secs. Timeout: 13 secs.
  Configuration Instance = 1322793087
  Daemon employs no security
  Segments pinned: Text Data Stack.
  Text segment size: 650 KB. Static data segment size: 1475 KB.
  Dynamic data segment size: 2810. Number of outstanding malloc: 1165
  User time 32 sec. System time 26 sec.
  Number of page faults: 0. Process swapped out 0 times.
  Number of nodes up: 4. Number of nodes down: 0.

두 개의 CF및 네 개의 멤버가 두 개의 스위치에 연결됩니다. — 그림 1. 두 개의 CF 및 네 개의 멤버가 두 개의 스위치에 연결됩니다.