IBM PowerHA SystemMirror 的 HyperSwap 和 Metro Mirror 特性

基于 Metro Mirror 的 IBM® HyperSwap® 是 IBM PowerHA® SystemMirror 7.1.2 Enterprise Edition 中的一个新特性。它针对存储错误提供了持续可用性,并防止应用程序不必要地故障转移到灾难恢复站点,故障转移只应在发生存储故障时进行。本文将介绍 HyperSwap with PowerHA,并详细解释如何规划和配置具有 HyperSwap 和 Metro Mirror 功能的 PowerHA Enterprise Edition 集群。

Kunal Langer, 技术顾问, IBM

http://www.ibm.com/developerworks/i/authors/kunal_langer_64x80px.jpgKunal Langer 是系统和技术集团的实验室服务(LBS)的一名 Power Systems 技术顾问,在印度地区工作。他在 AIX 和 PowerHA 的开发、测试和支持方面拥有超过六年的经验,并在 PowerHA SystemMirror 安装、配置、管理、测试和开发方面展示了他的专业知识。他在客户互动和处理客户的关键情况方面也有丰富的经验。



2013 年 11 月 07 日

简介

数据中心和服务可用性是 IT 基础架构的最重要课题之一,并且每天都会吸引更多的关注。站点之间的数据复制是一个最大限度地减少业务中断的好办法,因为备份还原操作所用的时间太长,无法满足业务需求,或者设备可能被损坏,无法用于数据恢复,这取决于灾难程度。从最便宜的(恢复需要较长的时间)恢复到最昂贵的(提供最短的恢复时间,并且最接近零数据丢失)恢复,恢复选项的成本各不相同。

PowerHA SystemMirror 7.1.2 Enterprise Edition 提供一个灾难恢复和高可用性解决方案,有助于自动化节点故障和应用程序事件,并提供高可用性。它有助于为选定存储的存储故障自动化恢复操作,控制站点(单独的数据中心)之间的存储复制,并支持整个站点故障的恢复,确保副本处于一致的状态,从而实现故障转移,使您能够构建一个灾难恢复解决方案。

HyperSwap 是 PowerHA SystemMirror 7.1.2 Enterprise Edition 产品组合中的一个产品。这是一个针对存储错误而提供的功能,提供它是为了获得持续可用性。它以基于存储的同步复制 [Peer-to-Peer Remote Copy (PPRC) 或 Metro Mirror] 为基础。在被定向(或磁盘发生故障)时,访问主磁盘子系统的 IBM AIX® 主机可以透明地切换到数据的备份副本,这样磁盘(如中间件)的使用者就不会受到影响。


背景知识

HyperSwap 是一个几年前在 GDPS 中初次引入的特性,适用于 Metro Mirror PPRC(同步)环境,它有助于即时切换 PPRC 镜像的磁盘子系统,从而增强 Parallel Sysplex 的弹性。

假如主机和辅助存储子系统之间存在物理连接,那么 HyperSwap 技术可以让主机能够透明地将应用程序的 I/O 操作切换到辅助 Metro Mirror 卷。这使得用户能够从单一站点或所覆盖的多个位置提供持续运营。通过实现 HyperSwap,可以执行磁盘故障和维护功能,不会发生任何应用程序服务中断。

该解决方案可为客户提供了更好的灾难恢复解决方案,并能证明 PowerHA 与 IBM 存储的紧密集成。

HyperSwap 技术使得 PowerHA SystemMirror 能够为客户支持以下功能:

  • 让主磁盘子系统不会成为单点故障,在所覆盖范围内提供更高水平的持续运营支持。
  • 支持无任何应用程序停机的存储维护。
  • 支持从旧到新的存储迁移。

所有这些用例都被划分为两种类型的 HyperSwap 活动:

  • 计划外的 HyperSwap:当主存储发生故障时,托管应用程序的操作系统将会检测事件并做出反应,执行 PPRC 故障转移,因此,应用程序的 I/O 活动被透明地重定向到二级存储子系统,以便允许应用程序没有任何中断地继续运行。请注意,在本例中,操作系统的 Small Computer System Interface (SCSI) 磁盘驱动程序检测到错误,并跨多个主机做出决定,完全切换到辅助存储子系统。在 HyperSwap 交换过程中,会暂时冻结 I/O 活动的进一步处理。请注意,应用程序在此期间不会遇到故障,而是遇到非致命性的延迟。
  • 计划内的 HyperSwap:在这种情况下,管理员主动发起一个从主存储子系统到辅助存储子系统的 HyperSwap。当管理员请求执行计划内 HyperSwap 时,会在集群中的主机之间进行协调,然后冻结 I/O 活动。先执行交换,然后允许继续执行 I/O 操作。计划内的 HyperSwap 有助于在主存储上执行维护任务,还有助于将数据从旧存储迁移到新购买的存储子系统。
图 1:PowerHA SystemMirror HyperSwap 配置示例
PowerHA SystemMirror HyperSwap 配置示例

AIX 的 HyperSwap 支持

图 2 显示了支持 HyperSwap 的组件。

图 2:支持 HyperSwap 的 AIX 组件
支持 HyperSwap 的 AIX 组件

AIX 的与 HyperSwap 相关的组件包括:

  • Cluster Aware AIX (CAA)
    • 协调集群范围内的操作
  • PowerHA HyperSwap 内核扩展
    • 与 CAA 配合,协调与其他节点的操作
    • 分析来自 PowerHA 框架和 AIX 存储框架的消息,并采取适当的措施
    • 确定交换操作
  • AIX 存储框架
    • 对存储使用 AIX 接口
    • 与 PowerHA HyperSwap 内核扩展紧密配合
    • 管理存储的状态
    • 将有关 I/O 错误的消息告诉 PowerHA HyperSwap 内核扩展
    • 从 PowerHA HyperSwap 内核扩展获取交换决定,并发送命令到 AIX PCM (MPIO)

获益

HyperSwap 支持与 PowerHA 提供了以下好处:

  • 针对存储故障提供了持续可用性
  • 替换辅助存储,从而代替出现故障的主设备
  • 非破坏性的,并保持应用程序运行
    图 3:PowerHA 集群的 HyperSwap 支持
    图 3:PowerHA 集群的 HyperSwap 支持
  • 对于应用程序是透明的
    图 4:HyperSwap 磁盘表示形式
    图 4:HyperSwap 磁盘表示形式
  • 支持跨 IBM System Storage® DS8000® 系统的一致性组管理
  • 为关键的系统磁盘提供 HyperSwap 支持:
    • Rootvg
    • 分页设备
    • 转储设备
    • 存储库磁盘
  • 提供磁盘分组支持
  • 为 AIX Logical Volume Manager (LVM) 和原始磁盘提供支持
    • 磁盘或 VG 复制
    • 磁盘错误处理
    • 使用 LVM 或地址空间管理器 (ASM) 磁盘可以部署 Oracle
  • 为多站点部署提供支持
    • 计算节点中断
      • 双主动(Active-active)工作负载提供了持续可用性
    • 存储中断
      • HyperSwap 提供了持续可用性
    • 主动-被动(Active-Passive)站点
      • 一个站点内的双主动工作负载
      • 跨站点的主动-被动
      • 针对站点存储中断的持续可用性
图 5:主动-被动 HyperSwap
主动-被动 HyperSwap

要求

本节列出了 PowerHA SystemMirror Enterprise Metro Mirror HyperSwap 支持的硬件和软件要求。

硬件要求

PowerHA SystemMirror HyperSwap 的硬件要求包括:

  • DS8800 存储设备
  • Power 固件级别:IBM POWER7® 或更高级别
  • DS8800 固件:6.3 或更高版本,microcode:86.30.49.0 或更高版本
  • Metro Mirror 许可
  • 存储子系统之间的存储区域网络(SAN)连接
  • Metro Mirror 存储之间的光纤通道(FC)连接

软件要求

配置 HyperSwap with PowerHA 的软件要求包括:

  • PowerHA Enterprise Edition 版本 7.1.2
  • AIX 6.1 TL8 或 AIX 7.1 TL2
  • IBM DSCLI 7 或更高版本

注意事项

规划 PowerHA HyperSwap 时,需要记住以下注意事项。

  • 仅在 IBM DS8800 设备上支持 HyperSwap for PowerHA
  • 目前不支持跨站点的并发工作负载,如 Oracle RAC。请注意,在未来的版本中,这种情况可能有所改变。
  • 存储子系统之间的 SAN 连接
  • 在虚拟 SCSI (VSCSI) 上,不支持 DS8800 Metro Mirror(带内)功能,包括 HyperSwap。
  • 为了使用 Live Partition Mobility (LPM),必须禁用所有在线组的 HyperSwap。完成 LPM 后,启用 HyperSwap。
  • 磁盘复制关系必须遵守底层逻辑子系统(LSS)之间的一对一关系。
  • 在使用 HyperSwap 功能的镜像组中,不支持 SCSI 保留(reservations )功能
  • 必须计算交换时间。这是在镜像组上执行 HyperSwap 操作时 PowerHA 所导致的 I/O 延迟时间量,以秒为单位。交换超时值特定于集群中的每个镜像组。计划内 HyperSwap 的交换超时是 120 秒,而且不能更改该值。计划外 HyperSwap 的交换超时为 0180 秒。为了确定计划外 HyperSwap 的交换超时,需要考虑的因素是:
    • 托管应用程序的节点的数量。节点数量越多,意味着被共享的信息越多。
    • 网络延迟和应用程序网络使用。
    • 应用程序所使用的磁盘数量。
    • 应用程序的 I/O 响应时间要求。

性能注意事项

重要的是记住以下性能注意事项。

  • 将以有时间限制的方式执行 HyperSwap 处理(定时特征应是可调的,并由 AIX Storage Framework 执行)。
  • 在处理计划内或计划外 HyperSwap 时,对其他群集节点的网络通信可以作为尽力完成的 操作来完成。预计这些通信是轻量级的,所以应将工作重点放在保持低响应时间上。
  • 对于使用 DS8800 带内 Metro Mirror 的资源组的计划内故障转移,预计其完成速度会因为带内通信而大大加快。带外性能历来不够理想(由于 DSCLI 性能问题)。

实现注意事项

在规划实现时,应牢记以下注意事项:

  • 在 DS8800 上的 I/O 冻结操作是对整个 LSS 进行操作的。如果某个 DS8800 LSS 包含来自多个应用程序的 PPRC 卷,并且其中一个复制链接断开,那么所有 PPRC 路径都将被破坏。此外,如果部分应用程序不是由 PowerHA 管理的,那么客户必须以手动方式重新创建部分 PPRC 路径。
  • 在更改任何存储级 PPRC 配置后,必须运行 PowerHA 的再发现实用工具。这包括每次执行新的 PPRC 路径更新(比如添加、删除或更改)。此外,在这个时间窗口执行(或自动触发)的 HyperSwap 功能可能会导致意想不到的行为。
  • 磁盘复制关系必须遵守 LSS 之间的一对一关系。
  • 对存储库磁盘启用 HyperSwap 需要指定一个备用磁盘。
  • 预期使用原始磁盘的应用程序提前打开了所有磁盘,以启用 HyperSwap 功能。
  • HyperSwap 不会自动将 SCSI 保留(如有)从主磁盘传输到辅助磁盘。

限制和局限性

在规划 HyperSwap with PowerHA 时,请记住下列限制和目前的局限性:

  • 在 VSCSI 上不支持 HyperSwap with PowerHA。
  • 只在 IBM DS8800 系统及更高版本上支持它。
  • 必须预定义存储级 PPRC 关系和 PPRC 路径(在 PowerHA 配置前)。
  • DS8800 上的冻结操作是针对整个 LSS 操作的。如果单个 DS8800 LSS 包含来自多个应用程序的 PPRC 卷,而且其中一个复制链接断开,那么所有 PPRC 路径都将被破坏。如果部分应用程序不是由 PowerHA 管理的,那么客户必须以手动方式重新创建部分 PPRC 路径。
  • 在执行任何存储级 PPRC 配置更改(比如添加、删除或更改新的 PPRC 路径)后,必须运行 PowerHA 的再发现实用工具。此外,在这个时间窗口执行(或自动触发)的 HyperSwap 功能可能会导致意想不到的或不必要的行为。
  • 应根据基础 AIX Device Driver 支持的局限性提供 Live Partition Mobility (LPM) 支持。
  • rootvg 镜像组上的 HyperSwap 启用/禁用操作应该应用于集群的所有节点。同样,存储库磁盘 镜像组上的 HyperSwap 启用/禁用操作应该应用于两个站点。
  • 磁盘复制关系必须遵守 LSS 之间的一对一关系。
  • 对存储库磁盘启用 HyperSwap 需要指定一个备用磁盘。
  • 使用原始磁盘的应用程序预计会提前打开所有磁盘,在满足此条件以前,HyperSwap 功能可能不可用。
  • 对于通过 PowerHA Inband/HyperSwap 支持实现管理的磁盘,不支持在 PowerHA 外部执行的 PPRC 操作,并且这些操作可能导致未定义或意料之外的结果。
  • 不支持跨多个站点并发访问相同(主) PPRC 磁盘的并发工作负载。这种情况以后可能会改变。
  • 不支持同时对 PPRC 主卷和 PPRC 辅助卷执行 I/O 的双主动工作负载。

初始磁盘配置

在开始之前,请牢记以下几点:

  • 使用 AIX Path Control Module (PCM) 驱动程序。输入以下命令,将属于存储系统的所有磁盘配置为使用 AIX_AAPCM 驱动程序。这要求重新启动。
    manage_disk_drivers –d device –o AIX_AAPCM
  • 对于在 HyperSwap 镜像组中使用的磁盘,不支持 SCSI 保留。确认没有设置磁盘被保留。
    devsrv –c query –l hdisk_name

    该命令返回以下数据:
    ODM Reservation Policy :NO RESERVE
    Device Reservation Policy :NO RESERVE
  • 要创建 HyperSwap 磁盘,需要在 PowerHA 中进行配置之前准备好存储子系统和 AIX 中的磁盘对。
    1. 选择两个磁盘(从每个子系统中各选一个)作为 HyperSwap 磁盘的镜像。选择两个磁盘(从每个存储子系统中各选一个)组成 PPRC 对(例如,hdiskA 和 hdiskB)。

      我们需要两个磁盘,从每个 DS8800 存储系统中各选一个磁盘。已经使用的磁盘可用于 HyperSwap;但是,必须特别小心,以确保数据的完整性。

      位于 /opt/ibm/dscli/bin 的 lshostvol.sh 命令用于显示磁盘属性,包括存储系统 LSS ID。卷 ID 包含以下数据:

      <vendor_name>.<storage_type>-<serial_number>/<LSS_ID><volume_ID>

      示例:IBM.2107-75TL771/BC00

      选择两个磁盘构成 PPRC 对。为了创建一个 PPRC 对,我们需要使用两个存储的 WWPN,可以使用 lssi 命令从每个存储系统获得此信息。

      我们还需要知道可用于连接该磁盘对的端口号。这可以使用 lsavailpprcpair 命令获得端口号。

    2. 建立从 hdiskA 到 hdiskB 的连接路径(使用 mkpprcpath 命令)。

      我们使用 mkpprcpath DSCLI 命令建立从 hdiskA 到 hdiskB 的连接路径,并使用 lspprcpath 命令检查状态。

      语法:

      /opt/ibm/dscli/dscli/mkpprcpath –dev <Local Storage ID -srclss <Source LSS ID> 
      -tgtlss <Target LSS ID> -remotewwnn <Remote Storage WWNN> <IO Port1>:<IO Port2>

      示例:

      /opt/ibm/dscli/dscli/mkpprcpath –dev IBM.2107-75TL771 
      –srclss 9A –tgtlss BC –remotewwnn 50050763081B06D4 I0102:I0334
    3. 建立从 hdiskB 到 hdiskA 的连接路径(使用 mkpprcpath 命令)。

      我们可以使用 mkpprcpath DSCLI 命令建立从 hdiskB 到 hdiskA 的连接路径,并使用 lspprcpath 命令检查状态。

      语法:

      /opt/ibm/dscli/dscli/mkpprcpath –dev <Local Storage ID -srclss <Source LSS ID> 
      -tgtlss <Target LSS ID> -remotewwnn <Remote Storage WWNN> <IO Port1>:< IO Port2>

      示例:

      /opt/ibm/dscli/dscli/mkpprcpath –dev IBM.2107-75LY981 
      –srclss BC –tgtlss 9A –remotewwnn 500507630AFFC16B I0334:I0102
    4. 建立一个方向的 hdiskA 和 hdiskB 卷对(使用 mkpprc 命令)。

      现在,我们使用 mkpprc 命令建立一个方向的 hdiskA 和 hdiskB 卷对。

      语法:

      /opt/ibm/dscli/dscli/mkpprc –dev <Local Storage ID> -remotedev 
      <Remote Storage ID> -mode <value> -type <mmir/gcp> <Local LSS>:<Remote LSS>

      示例:

      /opt/ibm/dscli/dscli/mkpprc –dev IBM.2107-75TL771 
      –remotedev IBM.2107-75LY981 –mode full –type mmir BC00:9A00
    5. 在所有节点上为 hdiskA 启用 HyperSwap(从所有节点使用 chdev 命令)。

      接下来,我们需要为 PPRC 对启用 HyperSwap 功能。使用 chdev 命令使得磁盘支持 HyperSwap 功能。

      语法:

      $ chdev –a san_rep_cfg=migrate_disk –l hdiskX –U

      示例:

      $ chdev –a san_rep_cfg=migrate_disk –l hdisk25 –U

      成功执行该命令后,辅助磁盘变得不可用。它被更改为 defined 状态。对其他所有节点重复此步骤。


与 HyperSwap 相关的 AIX 可调参数

本节将介绍为 HyperSwap 设置的一些可调参数。

表 1:HyperSwap 相关的配置设置

名称 组件 描述
dyntrk 协议驱动程序 (fscsi) Enabled 如果设备的 N_Port ID 被更改,则提供透明的 I/O 恢复
(例如,由于光纤信道从一个交换机端口移动
到另一个交换机端口)。此选项是在主机总线适配器(HBA)级别处理的。
fc_err_recov 协议驱动程序 (fscsi) fast_fail 允许您检测交换机和存储设备
之间的光纤通道问题。
hcheck_interval 磁盘驱动程序 (hdisk) 60 将健康检查请求发送到存储设备时的时间间隔。
默认设置为 60 秒。
rw_timeout 磁盘驱动程序 (hdisk) 30 (DS8000) DS8000 的读/写超时值被设置为 30 秒
timeout_policy 磁盘驱动程序 (hdisk) fail_path(DS8000) DS8000 的默认值

表中所列的大多数值是 AIX 7.1 中的默认设置。然而,在 AIX 6.1 上,可能需要将它们设置为表 1 所示的值

HyperSwap 相关的活动依赖于两个时间组件,故障检测时间和实际交换时间。

  • 故障检测时间 取决于失败时所处的环境和情况,而且关系到上表中提及的很多的时间组件。超时和重试构成故障声明时间的一个重要部分。
  • 实际交换时间 取决于 AIX 设备驱动程序和 PowerHA 集群组件的配合,二者相配合是为了给 HyperSwap 建立需求,跨集群协调,然后执行实际交换(任何网络问题都有可能导致带来与网络协调有关的延迟,并可能导致 HyperSwap 的超时/延迟或失败)。交换操作时间本身取决于磁盘的数量,并因此取决于 DS8800 执行交换的时间。此外,实际交换的时间取决于与发出交换操作时遇到的软可恢复错误有关的超时和重试(如果有)。

表 2 提供与交换时间相关的指标,以及对各种场景的应用效果。

表 2:交换时间指标

交换类型 交换时间 对应用程序透明
计划的用户镜像组 4 秒 是(如果没有读操作量与合理的写操作量),否则几乎是透明的
计划的系统镜像组 少于 1 秒
计划的存储库镜像组 少于 1 秒
纯写应用程序的计划外交换 30 秒(可调) 是,如果写操作不是太多
纯读应用程序的计划外交换 30 秒(可调) 否,应用程序在整个交换过程中挂起。

PowerHA 配置

在所有先决条件得到满足并完成初始磁盘配置后,我们需要配置 PowerHA SystemMirror 集群,并将 HyperSwap 磁盘添加到资源组。您需要执行以下步骤来配置 PowerHA。

  1. 确保已经安装了所有必需的文件集(包括 cluster.es.genxd)。
  2. 在所有节点上,将用于通信路径的 IP 标签填充到 CAA rhosts 文件 (/etc/cluster/rhosts)。重新启动 clcomd 守护程序。
  3. 通过选择以下选项来配置集群:smitty sysmirror > Cluster Nodes and Networks > Multi Site Cluster Deployment > Setup a Cluster, Nodes and Networks。选择集群类型 StretchedLinked。在我们的测试中,我们使用了 Stretched
  4. 然后,选择 CAA 使用的存储库磁盘和多播地址。通过 smitty sysmirror > Cluster Nodes and Networks > Multi Site Cluster Deployment > Define Repository Disk and Cluster IP Address 完成该操作。
  5. 验证和同步集群。成功完成验证过程后,CAA 集群的配置就完成了。
  6. 利用支持 HyperSwap 的磁盘为所有节点创建一个卷组。
  7. 定义存储和站点关联。使用路径 smitty cm_add_strg_system smitty sysmirror > Cluster Applications and Resources > Resources > Configure DS8800 Metro Mirror (In-Band) Resources > Configure Storage Systems > Add a Storage System。对辅助站点存储重复此步骤。
  8. 为 HyperSwap 磁盘设置以下镜像组。
    • User mirror group
    • Cluster_repository mirror group
    • SystemMirror group

    使用路径 smitty cm_cfg_mirror_grps or smitty sysmirror > Cluster Applications and Resources > Resources > Configure DS8800 Metro Mirror (In-Band) Resources > Configure Mirror Groups > Add a Mirror Group。您可以选择配置 usersystemcluster_repository 镜像组。有关各镜像组的详细信息,可以参考 IBM Redbooks® 的 PowerHA SystemMirror 7.1.2 Enterprise Edition for AIX

  9. 创建含站点策略的资源组。选中 Prefer Primary SiteOnline on Either Site 作为站点间的管理策略。
  10. 将镜像组和卷组添加到资源组。使用 smitty sysmirror > Cluster Applications and Resources > Resource Groups
  11. 验证和同步。
  12. 启动集群服务。

技巧

以下技巧在配置期间可用提供帮助,还有利于实现高可用性。

  • 在生产环境中,在每个 DS8800 上使用多个控制器,以实现高可用性。
  • 在生产环境中,建议将存储库磁盘放在两个站点(通过使用链接的集群设置),以避免站点故障对系统产生多种影响,或使用 HyperSwap 功能支持存储库镜像组。
  • 建议遵守以下规则,以获得更好的 HyperSwap 性能:
    • 尽可能将同一应用程序的所有 HyperSwap 磁盘放在同一个 LSS 中。
    • 尽可能不要在同一个 LSS 中混合不同应用程序的 HyperSwap 磁盘。
  • 作为一种最佳实践,先修改可调参数,再使用磁盘。您可以使用 chdev 命令修改可调参数:
    # chdev –l hdiskX –a rw_timeout=60
  • 您可以对计划内 HyperSwap 使用 PowerHA 工具。这可以用于存储子系统的维护,这样就不会中断应用程序。
  • 应用程序或数据库的所有集群节点上的用户和组定义必须是相同的。
  • 对于 AIX 上的 Oracle 11g,为了在分配共享内存时让操作系统能够使用 16 MB 页面或固定内存,Oracle 用户 ID 必须具有以下功能集:CAP_BYPASS_RAC_VMMCAP_PROPAGATE

参考资料

学习

讨论

  • 加入 developerWorks 中文社区。查看开发人员推动的博客、论坛、组和维基,并与其他 developerWorks 用户交流。

条评论

developerWorks: 登录

标有星(*)号的字段是必填字段。


需要一个 IBM ID?
忘记 IBM ID?


忘记密码?
更改您的密码

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件

 


在您首次登录 developerWorks 时,会为您创建一份个人概要。您的个人概要中的信息(您的姓名、国家/地区,以及公司名称)是公开显示的,而且会随着您发布的任何内容一起显示,除非您选择隐藏您的公司名称。您可以随时更新您的 IBM 帐户。

所有提交的信息确保安全。

选择您的昵称



当您初次登录到 developerWorks 时,将会为您创建一份概要信息,您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。

昵称长度在 3 至 31 个字符之间。 您的昵称在 developerWorks 社区中必须是唯一的,并且出于隐私保护的原因,不能是您的电子邮件地址。

标有星(*)号的字段是必填字段。

(昵称长度在 3 至 31 个字符之间)

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件.

 


所有提交的信息确保安全。


static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=AIX and UNIX
ArticleID=951997
ArticleTitle=IBM PowerHA SystemMirror 的 HyperSwap 和 Metro Mirror 特性
publish-date=11072013