HACMP 5.x 完全手册，第 2 部分：配置

Change/Show a Communication Interface
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
 [Entry Fields]
 Node Name [host1]
 Network Interface en2
 IP Label/Address host1_l1_boot2
 Network Type ether
* Network Name [net_ether_03]–〉net_ether_02

同样修改 host2_l1_boot1

这样可以看到 net_ether_03 没有了。

添加心跳网络

• 串口心跳

# Node Device Device Path 
host1 tty0 /dev/tty0
host2 tty0 /dev/tty0

• 另：磁盘心跳参考

# Node Device Device Path Pvid 
host1 hdisk5 /dev/hdisk5 00c1eedfbf8 x
host2 hdisk5 /dev/hdisk5 00c1eedfbf8 x

看确认拓扑 (toplog) 结构

Cluster Name: test_cluster
Cluster Connection Authentication Mode: Standard
Cluster Message Authentication Mode: None
Cluster Message Encryption: None
Use Persistent Labels for Communication: No

NODE host1:
 Network net_rs232_01 
 host1_tty0_01 /dev/tty0
 Network net_ether_01
 host1_l1_boot1 10.2.1.1
 host1_l1_boot2 10.2.11.1
 Network net_ether_02
 host1_l2_boot1 10.2.2.1
 host1_l2_boot2 10.2.12.1

NODE host2:
 Network net_rs232_01 
 host2_tty0_01 /dev/tty0
 Network net_ether_01
 host2_l1_boot1 10.2.1.1
 host2_l1_boot2 10.2.11.1
 Network net_ether_02
 host2_l2_boot1 10.2.2.1
 host2_l2_boot2 10.2.12.1

可以看到已符合规划要求，可以继续下面的配置。

添加高可用资源

• service ip
• 应用服务器
• vg 和 jfs

• 添加 应用服务器

* Server Name [host1_app]
* Start Script [/usr/sbin/cluster/app/start_host1]
* Stop Script [/usr/sbin/cluster/app/stop_host1]
 Application Monitor Name(s) 

同样增加 host2_app

* Server Name [host2_app]
* Start Script [/usr/sbin/cluster/app/start_host2]
* Stop Script [/usr/sbin/cluster/app/stop_host2]

• 添加 service ip

 
net_ether_01(10.2.1.0/24 10.2.11.0/24)
* IP Label/Address host1_l1_svc
* Network Name net_ether_01
Alternate HW Address to accompany IP Label/Address []

同样增加其他服务 ip 地址。

• 创建资源组

Type or select values in entry fields.
Press Enter AFTER making all desired changes. [Entry Fields]
* Resource Group Name [host1_RG]
* Participating Nodes (Default Node Priority) [host1 host2]
 Startup Policy Online On Home Node Only
 Fallover Policy Fallover To Next Priority Node In The List
 Fallback Policy Fallback To Higher Priority Node In The List

同样建立 host2_RG ,

 Resource Group Name [host2_RG]
* Participating Nodes (Default Node Priority) [host2 host1] 

注意，这里如果是主备模式，host2 仅做备机 ，则为 :

 Resource Group Name [host2_RG]
* Participating Nodes (Default Node Priority) [host2] 

• 配置资源组

smitty hacmp ->Extended Configuration->Extended Resource Configuration ->HACMP Extended Resource Group Configuration ->Change/Show Resources and Attributes for a Resource Group

选择 host1_RG

 Change/Show All Resources and Attributes for a Resource Group
Type or select values in entry fields.
Press Enter AFTER making all desired changes. [Entry Fields]
 Resource Group Name host1_RG
 Participating Nodes (Default Node Priority) host1 host2
 Startup Policy Online On Home Node Only
 Fallover Policy Fallover To Next Priority Node In The List
 Fallback Policy Fallback To Higher Priority Node In The List
 Fallback Timer Policy (empty is immediate) []
 Service IP Labels/Addresses [host1_l1_svc1 host1_l1_svc2 host1_l2_svc] 
 Application Servers [host1_app]
 Volume Groups [host1vg]
 Use forced varyon of volume groups, if necessary false 

同样的方法配置 host2_RG

检查和同步 HACMP 配置

( 注意： 以上 配置均在 host1 上完成， 同步至少 2 次， 先强制同步到 host2)

smitty hacmp ->Extended Configuration->Extended Verification and Synchronization

首次强制同步：

 HACMP Verification and Synchronization
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
 [Entry Fields]
* Verify, Synchronize or Both [Both]
* Automatically correct errors found during [Yes] verification?
* Force synchronization if verification fails? [Yes]
* Verify changes only? [No]
* Logging [Standard] 

同步：

 HACMP Verification and Synchronization
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
 [Entry Fields]
* Verify, Synchronize or Both [Both]
* Automatically correct errors found during [Yes] verification?
* Force synchronization if verification fails? [No]
* Verify changes only? [No]
* Logging [Standard] 

记得修改 /etc/hosts, 改为 svc 的地址上。

10.2.2.1	 host1_l2_boot1 
10.2.1.1	 host1_l1_boot1
10.2.200.1 host1_l2_svc host1
10.2.100.1	 host1_l1_svc1	
10.2.101.1	 host1_l1_svc2	
10.2.12.1	 host1_l2_boot2 
10.2.11.1	 host1_l1_boot2
10.2.2.2 host2_l2_boot1
10.2.1.2	 host2_l1_boot1	
10.2.200.2 host2_l2_svc host2
10.2.100.2	 host2_l1_svc1	
10.2.101.2	 host2_l1_svc2	
10.2.12.2	 host2_l2_boot2	
10.2.11.2	 host2_l1_boot2	

修改 syncd daemon 的数据刷新频率

该值表示刷新内存数据到硬盘的频率，缺省为 60，HACMP 安装后一般可改为 10，在下次重起时实际生效。

smitty HACMP -> HACMP Extended Configuration > Advanced Performance Tuning

Parameters > Change/Show syncd frequency ->10

或者

/usr/es/sbin/cluster/utilities/clchsyncd 10

当然也可直接修改 /etc/rc.boot 里相应语句，但已不推荐。

到此为止我们的 HACMP 已经基本配置完成了。

启动 HACMP：

在所有节点启动 HACMP

smitty clstart

* Start now, on system restart or both now 
 Start Cluster Services on these nodes [scmb02]
 BROADCAST message at startup? true
 Startup Cluster Lock Services? false
 Startup Cluster Information Daemon? true
 Reacquire resources after forced down ? false

确认 HACMP 配置完成

使用 HACMP 的工具 clverify,cldump,clstat 检查，参见“测试维护”部分。

回页首

实施中的配置

HACMP 首次配置后，这个步骤会和实际应用程序的安装配置工作交织在一起，时间跨度较长，并可能有反复，所以单独列出一部分。此过程如果不注意实施细节，会导致两边配置不一致，HACMP 在最终配置时需要重新整理 VG 或同步增加用户等工作。

本章的其他操作和“测试维护”部分的“变更与实现”有些重复，所以只对添加部分介绍。

利用 C-SPOC，我们可以实现在任一台节点机上操作共享或并发的 LVM 组件（vg，lv，fs），系统的 clcomd 的 Demon 自动同步到其他机器上。

 root 237690 135372 0 Dec 19 - 0:26 /usr/es/sbin/cluster/clcomd -d

增加组和用户

利用 HACMP 的功能，只需在一台机器操作，会自动同步到另一台。

增加组：

smitty hacmp-> Extended Configuration-> Security and Users Configuration-> -> Groups in an HACMP cluster-> Add a Group to the Cluster

选择 host2_RG

 Add a Group to the Cluster
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
 [Entry Fields]
 Select nodes by Resource Group host2_RG
 *** No selection means all nodes! ***
 * Group NAME [dba]
 ADMINISTRATIVE group? false
 Group ID [201] 
…. 

同样在 host1_RG 增加 bea 组 .

增加用户

smitty hacmp-> Extended Configuration-> Security and Users Configuration-> ->Users in an HACMP cluster-> Add a User to the Cluster

选择 host2_RG

 Add a User to the Cluster
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
[TOP] [Entry Fields]
 Select nodes by Resource Group host2_RG
 *** No selection means all nodes! ***
* User NAME [orarun]
User ID [209] 

其他根据具体情况可设置

同样在 host1_RG 增加 orarunc，xcom 等用户

确认 ：

[host2][root][/]>lsgroup ALL
[host2][root][/]>lsusers ALL
            

初始化用户口令

smitty hacmp ->Extended Configuration -> Security and Users Configuration -> Passwords in an HACMP cluster -> Change a User's Password in the Cluster

 Selection nodes by resource group host2_RG
 *** No selection means all nodes! ***
* User NAME [orarun]
User must change password on first login? false
            

此时需要你输入新口令更改：

 COMMAND STATUS
Command: running stdout: no stderr: no
Before command completion, additional instructions may appear below.
orarun's New password: 
Enter the new password again:
OK 即成功

增加 lv 和文件系统

利用 HACMP 的功能，只需在一台机器操作，会自动同步到另一台，无需考虑 VG 是否 varyon。

smitty hacmp-> System Management (C-SPOC)-> HACMP Logical Volume Management ->Shared Logical Volumes-> Add a Shared Logical Volume

选择 host2_RG host2vg,host2 hdisk3

 Add a Shared Logical Volume
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
 [Entry Fields]
 Resource Group Name host2_RG
 VOLUME GROUP name host2vg
 Reference node host2
* Number of LOGICAL PARTITIONS [100]
 PHYSICAL VOLUME names hdisk3
 Logical volume NAME [oradatalv]
Logical volume TYPE [jfs2] 

同样建立 host1_RG 的其他 lv。

建立文件系统：

smitty hacmp-> System Management (C-SPOC)-> HACMP Logical Volume Management ->Shared File Systems -> Enhanced Journaled File Systems -> Add an Enhanced Journaled File System on a Previously Defined Logical Volume

选择 oradatalv host1,host2,

 Node Names host1,host2,
 LOGICAL VOLUME name oradatalv 
* MOUNT POINT [/oradata]
 PERMISSIONS read/write
 …

同样建立其它文件系统。

建立好后，这些文件系统自动自动 mount。

修改文件系统的目录权限，保证两边一致

[host2][root][/]>chown orarun:dba /ora10run
[host2][root][/]>chown orarun:dba /oradata
[host1][root][/]>chown bsx1:bea /bsx1
            

同样其他文件系统也要如此操作。

确认：

[host2][root][/]>df -k
[host2][root][/]>ls -l /oradata
[host1][root][/]>df -k
            

安装配置应用

这里包括安装配置 host2 上的数据库和 host1 上的 tuxedo、mes、通信软件，由于和 HACMP 本身关系不大，所以不再描述。

回页首

最终配置 ( 带应用的 HACMP 配置 )

这一步一般在应用程序已经稳定，不做大的变动时进行。大都是在系统快上线前的一段时间进行，伴随最终设置的完成，应该跟随一个完整的测试过程。

这一步也可以理解为“带应用的 HACMP 配置”，所以主要工作是确认在 HACMP 的切换等行为中，应用脚本的正确性和健壮性。

起停脚本已经编写完备并本机测试

具体脚本的内容请参见后面的“脚本和经验“部分。

同步脚本

[host2][root][/home/scripts]>rcp -rp comm host1:/home

[host1][root][/home/scripts]>rcp -rp host2 host1:/home/scripts

[host1][root][/home/scripts]>rcp -rp host1:/home/scripts/host1 .

确认检查和处理

这一步是确认经过一段时间后，HACMP 是否需要修正和同步，参考“测试和维护“部分的”日常检查及处理“。

互拷用户的 .profile 等环境文件

[host2][root][/home/orarun]>rcp * host1:/home/ora10run

[host2][root][/home/orarun]>rcp .profile host1:/home/ora10run

[host2][root][/home/orarun]>rsh host1 chown -R orarun:dba /home/ora10run

[host1][root][/home/tuxrun]> rcp * host1:/home/tuxrun

[host1][root][/home/tuxrun]> rcp .profile host1:/home/tuxrun

[host1][root][/home/tuxrun]> rsh host2 chown -R tuxrun:bea /home/tuxrun

同样要全部互拷，不要遗漏。

也可以做如下操作，似乎更为简单：

[host2][root][/home]>tar ?cvf host2_user.tar ora10run

[host2][root][/home]>rcp host2_user.tar host1:/home

[host1][root][/home]> tar -xvf host2_user.tar

[host1][root][/home] > tar ?cvf host1_user.tar ora10runc tuxrun bsx1 xcom

[host1][root][/home]> rcp host1_user.tar host2:/home

[host2][root][/home]> tar -xvf host1_user.tar

测试：

建议实施完整测试 , 最低限度为标准测试，具体参见“测试和维护”部分。

回页首

总结

本文结合第一部分内容主要对 HACMP 的后续配置进行了较为详尽的描述。实际我们通常认为的项目集成工作告一段落，这部分都是我们的实际工作整理，相信读者可以按照本文予以顺利实施。但由于实际工作中要想 HACMP 真正发挥应有的作用，测试和维护必不可少，而以往的资料很少对此作专门的论述，所以我们后面对此进行了专门的论述。

参考资料

• 本系列的 第 1 部分：设计和安装 ：本文向您介绍 HAMCP 的设计和安装过程。
  
  
• HACMP 认证系列文章的 第 1 部分 ：本文包含对 IBM High Availability Cluster Multi-Processing (HACMP) for AIX 产品系列的介绍，以及作为 IBM 高可用性产品基础的概念。
  
  
• HACMP 认证系列文章的 第 2 部分 ：本文向您介绍了在计划和设计 HACMP 时候需要涉及的方方面面的内容，比如节点规划、硬件配置、软件配置等。让您全面了解实施 HACMP 前需要进行的各项准备工作。
  
  
• IBM System p5 服务器 HACMP 方案安装指南 : 本教程向您详细地描述了 HACMP 在 IBM System p5 系列服务器上的安装过程，一步一步地通过示例向您演示了整个安装步骤，包括系统的准备，关键软件包的安装，安装过程中的各项参数的选择等重要步骤。
  
  
• 使用 HACMP/XD + GLVM 实现高可用性集群 ：本教程向您详细地描述了 HACMP/XD+GLVM 在 IBM System p5 系列服务器上的安装过程，一步一步地通过示例向您演示了整个安装步骤，包括系统的准备，关键软件包的安装，安装过程中的各项参数的选择等重要步骤。
  
  
• 使用 SSA Target 模式配置 HACMP ：HACMP 在客户环境下有着广泛的应用，如果客户环境中使用 7133 做共享存储，可以直接利用 SSA 做心跳。本文主要描述 SSA 卡做心跳的规划、配置、检测过程，读者可以根据文章的描述在自己的环境中学习配置。
  
  
• AIX and UNIX 专区 ：developerWorks 的“AIX and UNIX 专区”提供了大量与 AIX 系统管理的所有方面相关的信息，您可以利用它们来扩展自己的 UNIX 技能。
  
  
• AIX and UNIX 新手入门 ：访问“AIX and UNIX 新手入门”页面可了解更多关于 AIX 和 UNIX 的内容。
  
  
• AIX Wiki：发现 AIX 相关技术信息的协作环境。
  
  
• 按主题搜索“AIX and UNIX”库：
  • 系统管理
  • 应用程序开发
  • 性能
  • 移植
  • 安全性
  • 提示
  • 工具和实用程序
  • Java™ 技术
  • Linux
  • 开放源代码
  
  
• Safari 书店 ：访问此电子参考资料库可查找特定的技术资源。
  
  
• developerWorks 技术事件和网络广播 ：了解最新的 developerWorks 技术事件和网络广播。
  
  
• Podcasts：收听 Podcast 并与 IBM 技术专家保持同步。

• IBM 试用软件 ：从 developerWorks 可直接下载这些试用软件，您可以利用它们开发您的下一个项目。
  
  

• 参与 developerWorks Blog，从而加入到 developerWorks 社区中来。
  
  
• 参与“AIX and UNIX”论坛：
  • AIX 5L——技术论坛
  • AIX for Developers 论坛
  • 集群系统管理
  • IBM Support Assistant
  • 性能工具——技术
  • 虚拟化——技术
  • 更多“AIX and UNIX”论坛
  
  

关于作者

		辛旻，拥有西安交通大学学士学位，上海宝信系统服务部技术支持中心 IBM 主机技术路线负责人，有从事 AIX 工作的多年实践经验，曾公开发表过《AIX 操作系统的内存调度机制剖析》一文,对 IBM psystem 平台有较为深入的掌握，已通过8门 AIX 相关认证，同时获得 CATE 高级认证。

对本文的评价

太差！ (1) 需提高 (2) 一般；尚可 (3) 好文章 (4) 真棒！(5) 建议？

回页首