全世界每天产生的数据量将近2000 PB。可以说,数据的存储及访问已经成为每个机构或组织业务运营的关键。随着客户数据的快速增长,为了更好的存储和管理数据,数据压缩技术已经变得越来越重要。
如今数据压缩解决方案已经被广泛使用,IBM主机从产生初期就开始使用压缩技术。压缩可以减少存储成本降低存储空间的需求,进而提高访问数据时的I / O吞吐量。尽管数据压缩有各种各样的好处,但是用户在使用压缩技术时仍然有很大的顾虑,那就是压缩带来了大量的cpu开销。因此用户不得不在节省存储空间和大量cpu开销之间做出抉择。这种顾虑在主机用户中尤为明显,因为用户使用主机所支付的费用与cpu的开销是息息相关的。最终用户可能会选择占用更多的存储设备,而不去利用昂贵的cpu资源压缩他们的数据。如果有一种压缩方法可以不消耗大量cpu资源,那意味着客户可以选择压缩更多的数据。IBM zEnterprise Data Compression (zEDC)就是这样的一种解决方案。
什么是zEDC?
IBM zEnterprise Data Compression (zEDC) 是一块PCIE的板卡,软件方面需要z/OS 2.1,硬件方面需要IBM zEnterprise EC12(zEC12) 或者IBM zEnterprise BC12(zBC12)的支持。zEDC 提供了一种高性能、低延时、低cpu开销的压缩解决方案。若用户系统安装了zEDC卡,cpu会把相应的数据压缩工作交给zEDC来处理,数据被压缩的同时,cpu本身却摆脱了复杂的压缩计算从而减少了cpu的开销。zEDC使用业界标准压缩算法库,尤其适用于压缩大容量顺序存储文件。
zEDC的优势
- zEDC是System z现有压缩技术的一种补充,用户可以自行选择用cpu做压缩,或是用zEDC卡来压缩。
- zEDC使用IETF RFC1951 所定义的deflate压缩算法,用户可以方便的通过标准APIs(zLib 和Java)进行调用,不需要更改原有的应用代码。
- 在压缩大文件时,相对于System z现有的压缩方式zEDC拥有更高的压缩效率:更高的压缩率,更快的压缩速度,极少的cpu开销。
IBM现已发布的zEDC应用场景
- BSAM/QSAM 数据集压缩场景
如果用户需要存储BSAM/QSAM格式的顺序数据集,用户可以选择用zEDC压缩数据后存储。如下图所示,最好的情况下压缩后数据仅为原始大小的1/4,可以节省75%的存储空间。相对于BSAM/QSAM现有的tailored和generic软件压缩方法,zEDC最多可以节省80%的cpu开销。
zEDC是基于硬件的压缩方式,压缩速度比BSAM/QSAM现有的tailored和generic软件方式要提高很多,客户夜间跑批量作业有大量的顺序文件读写工作,若文件已经被压缩后存储,I/O读写时间会缩短,作业的执行时间也相应缩短,从而缩短用户的夜间批量窗口。
- z/OS SMF logger 压缩场景
z/OS 2.1 可以使用zEDC来压缩SMF record。 z/OS,DB2,CICS和应用都会记录很多SMF数据,在这些record写入system logger时用zEDC将record进行压缩,可以有效的减少system logger的存储需求。通过压缩的SMF record,最多可以节省75%的存储空间,并且降低30%的cpu开销。这也意味着在system logger存储空间不变的情况下,用zEDC压缩可以容纳以往四倍的数据量。
- IBM Java 支持zEDC压缩场景
IBM 31bit 和 64bit Java V7R1 对zEDCj进行了开发,现已支持java.util.zip包调用zEDC进行压缩和解压缩。并且这种支持对用户来说是透明的,用户不需改变他们的代码,就可以得到zEDC压缩和解压所带来的性能提升。如下图所示,Java 应用程序用到java.util.zip.GZIPOutputStream类压缩文件的情况:使用zEDC相对于软件压缩可以减少90%的cpu开销,并且可以节省74%的压缩时间。
zEDC RMF 报告
z/OS RMF报告已经添加对zEDC的支持,SMF 74 SubType 9 record 包含了新的PCIE设备和zEDC相关的数据。 RMF Monitor III 可以用来后期处理这些数据并进行展示。
结语
IBM还会公布更多的zEDC应用场景,以供客户选择适合自己的使用方式。zEDC是对System z现有压缩技术的补充而非替代,为用户提供了压缩数据提高存储效率和网络传输效率的机会。同时,zEDC压缩大大的减少了cpu的开销,并缩短了压缩时间。真正的解决的用户使用压缩技术的顾虑。
参考资料:
本文参考自https://w3-03.sso.ibm.com/sales/support/skp/z/s/e/n/zsb03059usen/ZSB03059USEN.PDF
本文引用IBM官方网站公布的数据,文档下载:IBM zEDC Introduction
作者:齐永欣
邮箱:yongxinqATcn.ibm.com(替换AT为@)
内容声明:
本文仅代表作者的个人观点,与IBM立场、策略和观点无关。文中专业名词因翻译原因,表述中难免存在差异。如有疑惑,请以英文为准。同时数据来源于实验室环境,仅供参考。如果您对我们的话题感兴趣,请通过电子邮箱联系我们。