IBM PowerVM 实战手册,第 3 部分 : VIO server 配置及微分区的实施

本文结合作者几年来对 IBM 虚拟化微分区的成熟经验,并以宝信实验室的 2 台 55A 的实际部署,论述了 IBM 的 PowerVM 虚拟化服务的详细过程,对有兴趣和开始实施 PowerVM 的同仁相信有很大的帮助。

辛 旻 (xinmin@baosight.com), IBM 主机工程师, 上海宝信软件股份有限公司

辛 旻辛旻,拥有西安交通大学学士学位,上海宝信系统服务部技术支持中心 IBM 主机技术路线负责人,有从事 AIX 工作的多年实践经验,曾公开发表过《AIX 操作系统的内存调度机制剖析》一文,对 IBM psystem 平台有较为深入的掌握,已通过8门 AIX 相关认证,同时获得 CATE 高级认证。



2009 年 2 月 19 日

VIO server 配置 --- 微分区的共享资源设置

VIO server 为有限制的 AIX 操作系统,不允许 root 登录,用户名为 padmin,缺省口令无。

通过 oem_setup_env 进入 AIX 的环境,可以很方便的使用我们熟悉的 AIX 命令达到大多数操作相同的效果,下面会混合使用 2 个环境的命令。

接受许可

第一次开启 VIO server,利用 oem_setup_env 进入 AIX 环境必须接受 license 许可。

login: padmin  
$ oem_setup_env 
The I/O Server license must be accepted before running this command. 
Only the chlang command may be run before accepting the license. 
To view the license, run the license command with the -view option. 
If the -lang flag is not specified the license will be displayed in 
the current locale (set by the chlang command). If the license is not 
available in the language selected, English will be the default. 
To accept the license, run the license command with the -accept option. 
 
Locale currently set to: "en_US". 
 
Usage: license {[-view] [-accept]} [-lang Name] 
 license [-ls] 
 
。。。。。 
 
 
$ license -accept 

配置磁盘

在 oem_setup_env 的 AIX 环境下

先建立 2 个 VG,供各个微分区的 rootvg 共享使用 ( 磁盘位置请参考前面的实验环境说明 )

mkvg -y 55aa01_rootvg1  hdisk2

mkvg -y 55aa01_rootvg2 hdisk19

[ss55aa01][padmin][/home/padmin]#lspv

NAME PVID VG STATUS

hdisk0 000826ef27028dfe rootvg active

hdisk1 000826efbaa78248 rootvg active

hdisk2 000826ef415056f8 55aa01_rootvg1 active

...

hdisk19 000826ef41503876 55aa01_rootvg2 active

建立 20 个 lv,每个微分区 2 个,可用来做镜像

mklv -y rootvg1_55a11 -t jfs2 55aa01_rootvg1 20G

mklv -y rootvg1_55a12 -t jfs2 55aa01_rootvg1 20G

mklv -y rootvg1_55a13 -t jfs2 55aa01_rootvg1 20G

mklv -y rootvg1_55a14 -t jfs2 55aa01_rootvg1 20G

mklv -y rootvg1_55a15 -t jfs2 55aa01_rootvg1 20G
...
...
...
mklv -y rootvg2_55a15 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a16 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a17 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a18 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a19 -t jfs2 55aa01_rootvg2 20G

mklv -y rootvg2_55a20 -t jfs2 55aa01_rootvg2 20G

这样各个分区 rootvg 的准备工作完成,接下来要实际映射到各个微分区。

先执行 exit 退出 oem_setup_env 的 AIX 环境。

padmin 环境下建立 vdev

先察看以下 vhost 的虚拟 scsi 卡对应各个微分区是否如设计

[ss55aa01][padmin][/home/padmin]#lsmap -all|grep vhost 
vhost0 U9133.55A.069511H-V2-C111 0x00000000
vhost1 U9133.55A.069511H-V2-C112 0x00000000
vhost2 U9133.55A.069511H-V2-C121 0x00000000
...
vhost17 U9133.55A.069511H-V2-C192 0x00000000
vhost18 U9133.55A.069511H-V2-C201 0x00000000
vhost19 U9133.55A.069511H-V2-C202 0x00000000

建立各个虚拟存储设备,将微分区 rootvg 映射到各个预先建立的 lv 上,如对于 ss55aa11 这个微分区,建立一个 rootvg1_55a11 将 55a11_rootvg1 这个 lv 映射到 vhost0 上,即 ss55aa11 上的一块 scsi 卡上,从而使得 ss55aa11 这个微分区能认出这块虚拟磁盘来。

mkvdev -vdev rootvg1_55a11 -vadapter vhost0 -dev 55a11_rootvg1
mkvdev -vdev rootvg1_55a12 -vadapter vhost2 -dev 55a12_rootvg1
mkvdev -vdev rootvg1_55a13 -vadapter vhost4 -dev 55a13_rootvg1
mkvdev -vdev rootvg1_55a14 -vadapter vhost6 -dev 55a14_rootvg1
mkvdev -vdev rootvg1_55a15 -vadapter vhost8 -dev 55a15_rootvg1
mkvdev -vdev rootvg1_55a16 -vadapter vhost10 -dev 55a16_rootvg1
mkvdev -vdev rootvg1_55a17 -vadapter vhost12 -dev 55a17_rootvg1
mkvdev -vdev rootvg1_55a18 -vadapter vhost14 -dev 55a18_rootvg1
...
...
...
mkvdev -vdev rootvg2_55a14 -vadapter vhost7 -dev 55a14_rootvg2
mkvdev -vdev rootvg2_55a15 -vadapter vhost9 -dev 55a15_rootvg2
mkvdev -vdev rootvg2_55a16 -vadapter vhost11 -dev 55a16_rootvg2
mkvdev -vdev rootvg2_55a17 -vadapter vhost13 -dev 55a17_rootvg2
mkvdev -vdev rootvg2_55a18 -vadapter vhost15 -dev 55a18_rootvg2
mkvdev -vdev rootvg2_55a19 -vadapter vhost17 -dev 55a19_rootvg2
mkvdev -vdev rootvg2_55a20 -vadapter vhost19 -dev 55a20_rootvg2

建立 datavg

同理,建立各个微分区的 datavg,但这里使用磁盘直接对应的,而非 lv,但命令使用方法并无不同:

mkvdev -vdev hdisk3 -vadapter vhost0 -dev 55a11_datavg1
mkvdev -vdev hdisk4 -vadapter vhost2 -dev 55a12_datavg1
mkvdev -vdev hdisk5 -vadapter vhost4 -dev 55a13_datavg1
mkvdev -vdev hdisk6 -vadapter vhost6 -dev 55a14_datavg1
mkvdev -vdev hdisk7 -vadapter vhost8 -dev 55a15_datavg1
mkvdev -vdev hdisk8 -vadapter vhost10 -dev 55a16_datavg1
mkvdev -vdev hdisk9 -vadapter vhost12 -dev 55a17_datavg1
mkvdev -vdev hdisk10 -vadapter vhost14 -dev 55a18_datavg1
mkvdev -vdev hdisk11 -vadapter vhost16 -dev 55a19_datavg1
mkvdev -vdev hdisk12 -vadapter vhost18 -dev 55a20_datavg1

注意 :tempvg 没有加以处理,分配方法一致,留待以后分配

检查一下结果:

[ss55aa01][padmin][/home/padmin]#lsmap -all
SVSA Physloc Client Partition ID
--------------- -------------------------------------------- ------------------
vhost0 U9133.55A.069511H-V2-C111 0x00000003

VTD 55a11_datavg1
Status Available
LUN 0x8200000000000000
Backing device hdisk3
Physloc U787B.001.DNWGNVK-P1-C3-T2-W2148000B5D6A02AA-L1000000000000

VTD 55a11_rootvg1
Status Available
LUN 0x8100000000000000
Backing device rootvg1_55a11
Physloc 
.....

SVSA Physloc Client Partition ID
--------------- -------------------------------------------- ------------------
vhost18 U9133.55A.069511H-V2-C201 0x00000000

VTD 55a20_datavg1
Status Available
LUN 0x8200000000000000
Backing device hdisk12
Physloc U787B.001.DNWGNVK-P1-C3-T1-W2149000B5D6A02AA-LA000000000000

VTD 55a20_rootvg1
Status Available
LUN 0x8100000000000000
Backing device rootvg1_55a20
Physloc 

SVSA Physloc Client Partition ID
--------------- -------------------------------------------- ------------------
vhost19 U9133.55A.069511H-V2-C202 0x00000000

VTD 55a20_rootvg2
Status Available
LUN 0x8100000000000000
Backing device rootvg2_55a20
Physloc 
至此,每个微分区的 rootvg,datavg 已映射完成。

网卡设置:

1. 按前面设计,先察看以下网卡状况,看看通过 profile 设置,启动后是否如设计:

[ss55aa01][padmin][/home/padmin]#lsdev -Cc adapter
ent0 Available 07-08 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
ent1 Available 07-09 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
ent2 Available 09-08 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
ent3 Available 09-09 2-Port 10/100/1000 Base-TX PCI-X Adapter (14108902)
ent4 Available Virtual I/O Ethernet Adapter (l-lan)
ent5 Available Virtual I/O Ethernet Adapter (l-lan)
ent6 Available Virtual I/O Ethernet Adapter (l-lan)
ent7 Available Virtual I/O Ethernet Adapter (l-lan)
 [ss55aa01][padmin][/home/padmin]#lscfg -vpl ent4
 ent4 U9133.55A.069511H-V2-C11-T1 Virtual I/O Ethernet Adapter (l-lan)

 Network Address.............9EBF8000200B
 Displayable Message.........Virtual I/O Ethernet Adapter (l-lan)
 Hardware Location Code......U9133.55A.069511H-V2-C11-T1


 PLATFORM SPECIFIC

 Name: l-lan
 Node: l-lan@3000000b
 Device Type: network
 Physical Location: U9133.55A.069511H-V2-C11-T1
。。。。
[ss55aa01][padmin][/home/padmin]#lscfg -vpl ent7
 ent7 U9133.55A.069511H-V2-C14-T1 Virtual I/O Ethernet Adapter (l-lan)

 Network Address.............9EBF8000200E
 Displayable Message.........Virtual I/O Ethernet Adapter (l-lan)
 Hardware Location Code......U9133.55A.069511H-V2-C14-T1

2. 将实际物理网卡加以聚合,做成 enternet chanel 网卡

mkvdev -lnagg ent0,ent2
mkvdev -lnagg ent1,ent3

可以看到新生成了 ent8,ent9

ent8 Available EtherChannel / IEEE 802.3ad Link Aggregation
ent9 Available EtherChannel / IEEE 802.3ad Link Aggregation

3. 建立虚拟 sea 网卡,将聚合的 enternet chanel 网卡和虚拟网卡勾连起来,注意 VLAN 的 ID 设置要按设计和微分区设置一致:

可以看到生成了 ent10,ent11 这两个共享虚拟网卡。

至此,微分区需使用的共享网卡设置完成。

4. 设置 ip 地址,供远程访问 VIO server 使用,这个设置其实和微分区无关。

至此,VIO server 的配置完成。


微分区的准备- profile 的配置

除 CPU 设置为共享,设置虚拟 CPU 外,其他和划分普通分区类同,确认结果如下:

CPU 确认:

内存配置确认:

设备确认,注意,这里由于设备均为共享 VIO server,所以没有选择任何设备,实际配置可以根据实际情况选择,如分区配 HA 时有 2 块串口卡,可以选择。

按照设计,配置网卡 scis 卡,注意对应关系

网卡配置,请参照设计阅读此处,4、5 为一个 VLAN。

6、7 为另一个 VLAN,另一个网段。


微分区的安装和配置

微分区的安装和配置和普通的分区没有什么本质的区别,但此处由于使用了 VIO server 需要注意网卡和硬盘都是虚拟出来的,VIO server 如果没有激活,这些设备都会找不到。


结束语

就 VIO server 和微分区本身来讲,配置并不复杂,但有以下几点需要注意:

  1. 预先的规划和设计却非常重要,如果概念不清楚,配置的正确性无法保证,可用性和可靠性自然难以保证。尤其是 VIO server 的设计,由于相关分区的 I/O 需要通过此分区,所以一定要考虑确认清楚再动手实施。
  2. 配置完成后,需要密切监控 VIO server 和各个微分区的性能情况,及时加以调整,以达到最优的运行状态。
  3. 以往的经验,Power5 的 PLM 并不好用,在 Power6 已淘汰,由 Power6 的 Multiple Shared Processor Pools 等功能替代,但对内存的使用似乎还没有有效的动态调整手段,建议还是利用 nmon 等工具密切监视,及时加以手工调整。

参考资料

学习

获得产品和技术

  • IBM 试用软件 :使用可从 developerWorks 直接下载的软件构建您的下一个开发项目。

讨论

条评论

developerWorks: 登录

标有星(*)号的字段是必填字段。


需要一个 IBM ID?
忘记 IBM ID?


忘记密码?
更改您的密码

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件

 


在您首次登录 developerWorks 时,会为您创建一份个人概要。您的个人概要中的信息(您的姓名、国家/地区,以及公司名称)是公开显示的,而且会随着您发布的任何内容一起显示,除非您选择隐藏您的公司名称。您可以随时更新您的 IBM 帐户。

所有提交的信息确保安全。

选择您的昵称



当您初次登录到 developerWorks 时,将会为您创建一份概要信息,您需要指定一个昵称。您的昵称将和您在 developerWorks 发布的内容显示在一起。

昵称长度在 3 至 31 个字符之间。 您的昵称在 developerWorks 社区中必须是唯一的,并且出于隐私保护的原因,不能是您的电子邮件地址。

标有星(*)号的字段是必填字段。

(昵称长度在 3 至 31 个字符之间)

单击提交则表示您同意developerWorks 的条款和条件。 查看条款和条件.

 


所有提交的信息确保安全。


static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=10
Zone=AIX and UNIX
ArticleID=370584
ArticleTitle=IBM PowerVM 实战手册,第 3 部分 : VIO server 配置及微分区的实施
publish-date=02192009