内容


IBM PureApplication System 中的硬件之旅

Comments

简介

IBM PureApplication System(W1500 和 W1700 v1.0 及 v1.1)是一个盒装云计算系统,配有用来在云中部署和执行工作负载的硬件和软件,拥有将私有云环境添加到企业数据中心所需的一切功能。本文将概述 PureApplication System 中包含的硬件,并使用系统控制台来查看各个组件。

本文是由三篇文章组成的文章系列的第 1 部分,该文章系列将介绍 PureApplication System 为了托管应用程序运行时环境而提供的硬件和软件基础:

每篇文章都以前一篇文章为基础,以便全面地解释这一基础知识。

PureApplication System 的类型

PureApplication System 目前有四种类型:

  • W1500 Small Rack:矮机架 W1500,配备 32、64、96 或者 128 个 Intel® CPU 核心。
  • W1500 Large Rack:高机架 W1500,配备 64、96、128、160、192、224、384 或者 608 个 Intel CPU 核心。
  • W1700 Small Rack:矮机架 W1700,配备 32、64、96 或者 128 个 Power® CPU 核心。
  • W1700 Large Rack:高机架 W1700,配备 64、96、128、160、192、224、384 或者 608 个 Power CPU 核心。

表 1 显示了这些硬件类型的快速比较。表 1 中的管理节点缩写如下面所示(请参阅 管理节点 部分,了解有关的详细信息):

  • PSM:PureSystems Manager
  • VSM:Virtualization System Manager
  • FSM:PureFlex System Manager
表 1. PureApplication System 硬件分类
W1500 小机架W1700 小机架W1500 大机架W1700 大机架
机架25U - 1.3 M 19"25U - 1.3 M 19"42U - 2.0 M 19"42U - 2.0 M 19"
节点机箱1 个 Flex 机箱1 个 Flex 机箱3 个 Flex 机箱3 个 Flex 机箱
处理器Intel Xeon E5-2670 8 核POWER7+ 8 核Intel Xeon E5-2670 8 核POWER7+ 8 核
计算节点2、4、6 或者 82、3 或者 44、6、8、10、12、14、24 或者 382、3、4、5、6、7、12 或者 19
CPU 核心32、64、96 或者 12832、64、96 或者 12864、96、128、160、192、224、384 或者 60864、96、128、160、192、224、384 或者 608
内存0.5、1.0、1.5 或者 2.0 TB RAM0.5、1.0、1.5 或者 2.0 TB RAM1.0、1.5、2.0、2.5、3.0、3.5、6.0 或者 9.5 TB RAM1.0、1.5、2.0、2.5、3.0、3.5、6.0 或者 9.5 TB RAM
存储节点1 个 V7000 控制器
1 个 V7000 扩展
1 个 V7000 控制器
1 个 V7000 扩展
2 个 V7000 控制器
2 个 V7000 扩展
2 个 V7000 控制器
2 个 V7000 扩展
存储驱动器6 个 400 GB SSD
40 个 600 GB HDD
6 个 400 GB SSD
40 个 600 GB HDD
16 个 400 GB SSD
80 个 600 GB HDD
16 个 400 GB SSD
80 个 600 GB HDD
存储容量2.4 TB SSD
24.0 TB HDD
2.4 TB SSD
24.0 TB HDD
6.4 TB SSD
48.0 TB HDD
6.4 TB SSD
48.0 TB HDD
管理节点2 个 PSM
2 个 VSM
2 个 PSM
2 个 FSM
2 个 PSM
2 个 VSM
2 个 PSM
2 个 FSM
网络2 个 IBM RackSwitch 64 端口 10 Gb 以太网交换机
电源4 个 配电单元 (PDU)

每个型号在其类型内都是可升级的,最大可分别升级至 W1500-128、W1700-128、W1500-608 和 W1700-608。无需断电即可执行升级。

系统硬件

让我们首先来探讨一下整个 PureApplication System 机架中适用于每个系统类型的硬件。

基础架构图

您可以在集成控制台中查看特定 PureApplication System 中的硬件实时视图。为此,请打开 Infrastructure Map。选择 System Console > Hardware > Infrastructure Map,如图 1 所示。要访问 Hardware 菜单,需要为用户授予 Hardware administration 角色,如 Managing administrative access in IBM PureApplication System 中所述。

图 1. 系统硬件菜单
系统硬件菜单
系统硬件菜单

Infrastructure Map 可视作一个交互式图片,如图 2 所示,并可作为组件的层级树状结构。如需了解更多信息,请查看 PureApplication System 信息中心的 Viewing the hardware infrastructure 主题。

图 2. W1500-96 Infrastructure Map - 图形视图
W1500-96 Infrastructure Map - 图形视图
W1500-96 Infrastructure Map - 图形视图

硬件基础架构

与图 2 中所示的 Infrastructure Map 图形视图类似,图 3 演示了 W1500 Large Rack 系统机架中的硬件组件布局。

图 3. IBM PureApplication System W1500-608 硬件
IBM PureApplication System W1500-608 硬件
IBM PureApplication System W1500-608 硬件

如 Infrastructure Map 和图 3 中所示,W1500 Large Rack 系统是一个大机架(一个 42U 机柜,高 2.015 米,宽 644 毫米,纵深 1100 毫米,全负荷情况下总重 1088 千克),从上到下包含以下主要组件:

  • 位于顶部的机架交换机 (ToR):这是一对 IBM System Networking RackSwitch™ G8264 64 端口 10 Gb 以太网交换机。
    • 要查看这些信息,请转至 System Console > Hardware > Network Devices。网络设备页面还列出了各个机箱的网络和 SAN 交换机。
    • 要查看网络配置的详细信息,请转至 System Console > System > Customer Network Configuration
  • 存储节点:这是一对 IBM Storwize® V7000 存储单元,每个单元都是一个控制器节点与一个扩展节点的配对,并与一个将两个单元作为单个 SAN 进行管理的控制器聚合。
    • 要想查看这些信息,请转至 System Console > Hardware > Storage Devices
  • Flex 机箱:系统包含三个 IBM Flex System™ Enterprise Chassis Type 7893 机箱,高度均为 10U(编号为 3、2 和 1,编号 1 的机箱位于底部)。机箱相当于计算节点的扩展插口。将计算节点放入机箱就像将抽屉放入文件柜一样。在将节点插入到托架时,节点中的相应连接器和托架就会组合在一起。这一设计有助于在系统运行期间更换计算节点。
    • 要想查看这些信息,请转至 System Console > Hardware > Flex Chassis
  • 服务笔记本电脑:一台连接到系统的笔记本电脑被存放在机架中编号为 2 和 3 的机箱之间的一个 1U 抽屉中。IBM 用它来管理系统。
  • 配电单元 (PDU):机架包含四个 PDU,分别插在外部电源上。这几个单元依次将电源分配到机箱的电源模块、交换机和存储节点。

每个 Flex 机箱都包含几个组件:

  • 计算节点:每个机箱包含十四个计算节点托架,分七行两列排列。每个托架都支持一个 Intel 计算节点。如果使用的是 W1700,那么两个并列的托架能够支持一个 Power 计算节点。参见 图 4
    • 要查看系统的计算节点,请转至 System Console > Hardware > Compute Nodes
  • 管理节点:Chassis 1 和 Chassis 2 各使用两个托架来托管管理节点:
    • Virtualization System Manager (VSM):在节点托架 1 中托管,管理计算节点的虚拟机管理程序。如果使用的是 W1700,那么该节点就是 PureFlex System Manager (FSM)。参阅 图 4管理节点 一节。
    • PureSystems Manager (PSM):托管在节点托架 2 中,它托管了 IBM Workload Deployer (IWD)。
    • 要查看系统的管理节点,请转至 System Console > Hardware > Management Nodes
  • 网络交换机:每个机箱包含一对 66 端口 IBM Flex System Fabric EN4093 10Gb Scalable Switch 以太网交换机,用于连接它的计算节点。机箱交换机通过一个 40 Gbps 以太网主干(4 个 10 GB 以太网电缆)连接到顶部机架交换机。
  • SAN 交换机:每个机箱包含一对 48 端口的 IBM Flex System FC5022 16Gb SAN Scalable Switch 光纤通道交换机,用于将其计算节点连接到系统的共享存储。
    • 要查看机箱的网络和 SAN 交换机,请转至 System Console > Hardware > Network Devices
  • 电源模块:每个机箱包含 6 个电源,每侧 3 个。电源是冗余提供的,所以即使一个电源模块失效,也能保持机箱及其计算节点继续工作。
  • 继续冷却设备:这些设备是 10 个用于控制硬件温度的风扇。

Power 型号

W1700 Large Rack 中的硬件与对应的 W1500 类型机箱中的硬件非常相似。图 4 显示了 W1700 Large Rack 系统机架中的硬件组件布局。

图 4. IBM PureApplication System W1700-608 硬件
IBM PureApplication System W1700-608 硬件
IBM PureApplication System W1700-608 硬件

这个硬件与 W1500 Large Rack 中的硬件非常相似,主要区别是 W1700 包含 Power 计算节点,而不是 Intel 计算节点。与 Intel 计算节点相比,Power 计算节点包含两倍多的核心以及两倍多的内存。放置该硬件的盒子是两倍宽,所以它占用机箱中的两个水平托架,这样每个机箱会支持一半的 Power 计算节点。除了计算节点外,存储和网络也是相同的。

另一个区别是,虚拟化管理节点是 PureFlex System Manager (FSM),而不是 Virtualization System Manager (VSM)。请参阅 管理节点 一节。

较小的机架

W1500 Small Rack 中的这个硬件是 W1500 Large Rack 中的硬件的一个子集。图 5 显示了 W1500 Small Rack 系统机架中的硬件组件布局。

图 5. IBM PureApplication System W1500-64 硬件
IBM PureApplication System W1500-64 硬件
IBM PureApplication System W1500-64 硬件

如图 5 所示,W1500 Small Rack 是一个小机架(25U 机柜,高 1.267 米,宽 605 毫米,纵深 997 毫米,全负荷状态下重量为 385 千克),包含与较大的同类机架相同的主要组件类型:

  • 2 个顶部机架交换机
  • 1 个服务笔记本电脑
  • 4 个电源模块
  • 1 个存储单元(一个控制器/扩展对)
  • 1 个 Flex 机箱:
    • 4 个管理节点
    • 多达 10 个计算节点的托架

这个硬件与 W1500 Large Rack 中的硬件非常相似,但略有不同:

  • 较矮,略窄于机柜(25U 而不是 42U)
  • 1 个机箱,而不是三个
  • 最多 10 个计算节点
  • 1 个存储单元,而不是两个
  • 4 个电源模块,水平堆放在存储和服务笔记本之间

所有 W1500 中的计算节点都是相同的,并且存储和联网的方式也是相同的。

W1700 Small Rack 中的硬件(即 Power 小机架)与 W1500 Small Rack 中的硬件(即 Intel 小机架)非常类似。主要区别是不包含 Intel 计算节点,单个机箱的空间可存放最多 5 个 Power 计算节点。

硬件弹性

系统硬件的基本主题就是,为了实现弹性,各个节点往往是冗余的,以避免出现单点故障。系统不仅包含多个计算节点,还包含两对管理节点、两个系统网络交换机、两个存储单元,以及四个 PDU。Large Rack 机箱系统包含三个 Flex 机箱。每个机箱包含一对网络交换机、一对 SAN 交换机和六个电源。计算节点中的网络和 SAN 适配器有多个端口,用于增加带宽和弹性。

硬件还将系统的管理和用户工作负载隔离开。管理节点 - PureSystems™ Manager 和 Virtualization System Manager 或 PureFlex™ System Manager - 都托管在其自身的计算节点中。这会将它们和用户工作负载隔离开,这样,系统管理功能就可以在自己的专用硬件中运行。这样做还消除了标准计算节点的大多数管理开销,使其资源可以专供用户工作负载使用。如果出现故障,有两对管理节点应对故障,其中一对处于待命状态,是另一对的备用。

系统组件

让我们更详细地探讨一下各个硬件组件。

W1500 计算节点

计算节点通常也称为集成技术元素 (ITE),有时也被称为 “刀片”,专指那些尚未被专门化为管理节点的节点,计算节点是非常小巧的计算机。W1500 系统包含许多 Intel 计算节点,特别是 IBM Flex System x240 计算节点,这些节点各自包含以下组件:

  • CPU:一个 Intel 计算节点包含一个双处理器、16 核芯片组。这些芯片是两个 8 核 2.6 GHz Intel® Xeon® E5-2670 115W 处理器,一共有 16 个物理核心,虚拟机管理程序将其用作 32 个逻辑核心(也就是说,虚拟机管理程序能够在这 16 个核心中运行 32 个并发线程)。在这 32 个逻辑核心中,28 个核心可供用户工作负载使用。
  • 内存:一个 Intel 计算节点包含 256 GB 的 RAM:8 2x16 GB、1333 MHz、DDR3、LP RDIMMS (1.35 V)。
  • 存储:计算节点的 SAN 接口卡是一个 IBM Flex System FC3172 2-port 8 GB FC Adapter 光纤通道适配器。节点还包含两个 250 GB 2.5 英寸的硬盘驱动器,它们往往不被系统采用,常被忽略。
  • 网络:计算节点的网络接口卡是一个 4 端口的 IBM Flex System CN4054 10 GB Virtual Fabric Adapter 以太网适配器。
  • 外壳:Intel 计算节点的外壳只有一半的宽度,这意味着每个计算节点能够放置到单个机箱托架上,而且两个计算节点能够能够并排放置在相邻的托架上(参见 图 3图 5)。

图 6 说明了计算节点中的这些组件。

图 6. 计算节点组件
计算节点组件
计算节点组件

W1700 计算节点

W1700 系统包含许多 Power 计算节点,特别是 IBM Flex System p460 计算节点,它包含以下组件:

  • CPU:Power 计算节点包含一个四核处理器,32 核芯片组。这些芯片是四个 8 核 3.61 GHz POWER7+ 处理器,一共有 32 个物理核心,虚拟机管理程序将它们用作 128 个逻辑核心(也就是说,128 个并发线程)。在这 128 个逻辑核心中,116 个核心课用于用户工作负载。
  • 内存:Power 计算节点包含 512 GB 的 RAM:16 2x16 GB、1066 MHz、DDR3、LP RDIMMS (1.35 V)。
  • 存储:这和 Intel 计算节点中包含的适配器相同,但它包含两个适配器。计算节点的 SAN 接口卡是两个 IBM Flex System FC3172 2-port 8 GB FC Adapter 光纤通道适配器。节点还包含两个 250 GB 2.5 英寸的硬盘驱动器,它们往往不被系统采用,常被忽略。
  • 网络:这和 Intel 计算节点张包含的适配器类似,但它包含两个适配器。计算节点的网络接口卡是两个 IBM Flex System EN4054 4-port 10 GB 以太网适配器。
  • 外壳:Power 计算节点的外壳是全宽度,这意味着它是 Intel 计算节点的两倍宽。每个 Power 计算节点占用一对水平放置的机箱托架(参见 图 4)。

与 W1500 计算节点相比,W1700 计算节点包含其两倍的核心和内存。由于在体积上也是两倍,所以机架支持一半的数量。

每个计算节点都可以访问所有计算节点共享的系统资源:存储和网络。

共享资源:存储

PureApplication System 高机架提供 6.4 TB 的固态驱动器 (SSD) 存储,以及 48 TB 的硬盘驱动器 (HDD) 存储;其中,4.8 TB 和 43.2 TB 是可用的:

  • 这个存储器被放置在由两个 IBM Storwize V7000 存储单元组成的集群中。每个单元包含一个与扩展节点配对的控制器节点(也称为附件)。
  • 每个节点包含两个节点容器,被配置为活动/备用容器。活动的容器控制了对节点存储的访问。
  • 四个联合节点中的磁盘是 16 * 400 GB 2.5" SSD 和 80 * 600 GB 2.5" HDD。
  • 控制器包括 IBM System Storage® Easy Tier® 存储管理系统软件。
  • 存储被组织成独立磁盘冗余阵列 (RAID),其中 5 个阵列用于冗余。每个存储单元包含 40 个 HDD 和 8 个 SSD。
    • 在 40 个 HDD 中,一个作为热备件预留,余下的 39 个硬盘被组织到三个由 13 个磁盘组成的阵列中,其中包括 12 个数据段和 1 个奇偶校验段的条带。
    • 8 个 SDD 是一个热备件,以及由 7 个磁盘组成的阵列,其中包括 6 个数据段和 1 个奇偶校验段的条带。
  • 计算节点通过 2 端口的 8 GB 光纤通道适配器访问作为 SAN 的存储器。

共享资源:网络

PureApplication System 的内部物理网络通过两个顶部机架交换机 (ToR)、两个 IBM System Networking RackSwitch G8264 64 端口的以太网交换机来访问,其中交换机和外部网络之间的最大带宽为 320 Gbps。它们的配置显示在 Customer Network Configuration 页面上(请转至 System Console > System > Customer Network Configuration)。以下是端口的使用方法:

  • 每个交换机上的端口 41-56(一共 16 个端口)用于连接数据中心网络:
    • 每个端口都是 10/1 GB 以太网。内置的连接器类型是铜线,但是每个端口也可以和光纤连接器相连,或者直接接入连接 (DAC)。
    • 两个交换机中的各对端口应该是链路聚合的,以实现高可用性。
  • 端口 63(在任一交换机上)连接服务笔记本电脑,IBM 也用这个端口来引导和管理系统。
  • 端口 64(链路聚合)是管理 LAN 端口。
  • 系统交换机上的其他端口提供了用于应用程序和管理网络的三个机架的网络交换机之间的以太网连接,并相互连接两个 ToR 交换机。

管理节点

PureSystems Manager (PSM) 不仅托管了可以部署模式的 Workload Deployer,还托管了系统的管理服务。这些服务可通过以下三个接口进行访问:

  • 控制台:集成控制台,一个 Web GUI。
  • REST API:具象状态传输应用程序编程接口。
  • CLI:命令行接口。

这些接口通过其 IP 地址来访问 PSM,该地址是 Customer Network Configuration 页面上显示的浮动管理 IP 地址(System Console > System > Customer Network Configuration)。在这个 IP 地址上打开 Web 浏览器将会打开系统的集成控制台。

虚拟化管理节点 - Virtualization System Manager(VSM,位于 W1500 上)和 PureFlex System Manager(FSM,位于 W1700 上) - 管理虚拟机管理程序。W1500 和 W1700 上的虚拟机管理程序管理相同,但在这两种型号上的工作方式略有不同。两种型号的不同芯片组、Intel® 与 Power 运行不同的虚拟机管理程序软件:VMware 与 PowerVM。VSM 和 FSM 运行相同的硬件,但分别运行不同的虚拟机管理程序管理软件 VMware vCenter 与 PowerVM。

表 2 总结了两种虚拟化管理节点类型中的区别。

表 2. 虚拟化管理节点对比
W1500 IntelW1700 Power
处理器Intel XeonPOWER7+
虚拟机管理程序软件VMware vSphere Hypervisor (ESXi)IBM PowerVM
虚拟化管理节点Virtualization System Manager (VSM)PureFlex System Manager (FSM)
虚拟机管理程序管理软件VMware vCenter ServerPowerVM VMControl

尽管存在这些差异,但是 PureSystems Manager (PSM) 在两种型号中使用该虚拟机管理程序管理软件的方式相同。

Management LAN 端口

管理 LAN 端口使管理员能够连接到 PureSystems Manager (PSM),包括集成控制台。Customer Network Configuration 页面指定了管理端口,该端口始终为顶部机架上的端口 64(链路聚合)。这个管理端口是客户管理网络的一员,在表 3 中列出。顶部机架交换机配置有 VLAN ID,用于 Aggregate Port 64 配置的 VLAN 域中的客户管理网络。

表 3. 客户管理网络
名称网络名称VLAN ID
客户管理CUSTMGMT指定客户

这个客户管理网络可使用网络管理员指定的任何可用 VLAN ID。VLAN 需要在外部网络上进行定义来支持管理员访问 PSM。

管理网络

系统需要三个 VLAN 来从内部管理其组件。Customer Network Configuration 将其作为 Internal Network VLAN 列出。每个管理 VLAN 也在 Virtual Networks 页面上与其他 VLAN 一起列出(System Console > Hardware > Virtual Network)。表 4 列出了这些管理 VLAN。

表 4. 管理网络
名称网络名称VLAN ID
移动性VMOTION1358
控制台CONSOLE3201
管理MERION4091

为了确保这三个 VLAN ID 在网络上是惟一的,应该在网络上保留它们,让其他所有 VLAN 都不会使用它们。至少,具有这些 ID 的网络 VLAN 将无法连接到系统,因为顶部机架交换机会阻塞流量。

除了这些系统范围内的管理网络外,每个云组(PureApplication System 的虚拟化特性)还需要自己的管理 VLAN。这些 VLAN ID 也应进行保留,或者至少将由顶部机架交换机进行阻塞。

应用程序网络

Customer Network Configuration 页面还使管理员能够定义 VLAN,客户工作负载将用其来彼此通信,并将每个应用程序 VLAN 与顶部机架交换机中的端口或链路聚合关联。当添加或删除交换机中已配置的 VLAN 时,系统会花几分钟时间来重新配置其顶部机架和网络交换机,然后,系统将识别 VLAN 更改。

这些应用程序 VLAN 必须在网络上进行定义,以支持不在系统上运行的部分应用程序(例如,客户端 GUI 和企业数据库)与在系统上作为工作负载运行的部分应用程序之间的通信。

结束语

本文回顾了 PureApplication System 中包含的硬件。介绍了主要的硬件组件,描述了各个组件的详细信息和关系,并展示了如何在集成控制台中找到它们。了解了这些信息之后,您现在就对 PureApplication System 中的硬件有了更高的理解。

致谢

作者衷心感谢以下 IBM 工作人员,感谢他们对本文提供的帮助:Hendrik van RunJose AltuveJim RobbinsAjay ApteJames Kochuba


相关主题


评论

添加或订阅评论,请先登录注册

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=Cloud computing
ArticleID=957439
ArticleTitle=IBM PureApplication System 中的硬件之旅
publish-date=06262014