百度利用超级可扩展性数据平台实现技术创新
跨国高科技人工智能公司用高性能磁带替代磁盘,存储海量冷数据,成本降低 80%,助力人工智能、自动驾驶汽车等领域快速发展

随着百度推出创新的人工智能服务,数据量正在飙升。为了降低成本、提高效率并满足数据合规性要求,该公司委托 IBM 使用基于 IBM® TS4500 磁带库IBM Storage Scale 软件的新解决方案来取代传统的冷数据数据磁盘存储。

从自动驾驶汽车到 AI 再到物联网 (IoT),百度公司一直处在数字创新的最前沿。除了提供中国最大的互联网搜索引擎外,百度公司的战略版图还包括自动驾驶汽车、百度智能云、百度网盘和视频流平台。

百度智能云云存储部负责人于淼 (Miao Yu) 解释道:“随着越来越多的行业升级数字化能力,我们的目标是为交通、金融、政府等行业的客户提供云产品。通过百度智能云的云功能和智能功能,我们可以帮助企业提高成本效益并创造新的价值来源。”

在百度平台上,数据的数量、速度和种类都在快速增长。该公司的百度智能云和 AI 产品的蓬勃发展都导致了存储需求的激增。与此同时,百度智慧城市、智能家居和汽车自动化解决方案的用率急剧上升,也进一步增加了对实时数据访问和长期数据保留的需求。

于淼继续说到:“我们的数据增长没有放缓的迹象。我们最新推出的自动驾驶汽车配备了比前代产品多得多的传感器,每辆车每天产生的数据量可能高达 10 TB。同样,智能家居品类的快速增长以及直播在中国的广泛普及都会产生海量的数据,这也会带来极大的存储挑战。自 2019 年以来,我们的数据量增加了两倍多,我们现在存储了大约 100 EB 的数据。”

过去,百度公司依靠磁盘存储平台来长期保留数据。但是,磁盘中每个驱动器的最大容量为 20 TB,所以这种存储方法限制了存储密度、占用了宝贵的占地面积并增加了成本。百度公司认识到,磁盘存储方法并不是最佳方法,因此,他们一直在寻找一个更具弹性、高效且可扩展的冷数据存储平台,以满足其持续的数据增长需求。

节省 90% 以上

 

通过用磁带取代磁盘进行冷数据存储,可节省超过 90% 的功耗

成本降低 >80%

 

与之前的磁盘存储平台相比,将冷数据的运营成本降低 > 80%

通过将 IBM TS4500 磁带库与 IBM Storage Scale 和 IBM Storage Defender 相结合,百度智能云可以降低成本并实现快速扩展,从而满足爆炸式的数据增长需求。 于淼 云存储部高级经理 百度智能云
降低成本,快速扩展

为了满足客户对无限数据扩展的需求,百度智能云聘请了 IBM 专家来规划、设计、部署和配置面向未来的冷数据存储架构,此架构由 IBM TS4500 磁带库与 IBM Storage Scale 和 IBM Storage Defender 解决方案组成。

于淼解释道:“不同类型的数据使用场景对存储系统提出了不同的要求,例如,高性能计算工作负载需要具有高吞吐量和低延迟特性的读写访问。对于其他使用场景(例如存储由监控系统生成的日志文件),我们必须能够快速检索数据,即使自数据存储以来已经过去了好几年也是如此。我们一直在寻找一种具有更高成本效益、高 IOPS 和 24x7 可用性的冷数据存储解决方案,而 IBM 恰好提供了这样的解决方案。”

IBM 解决方案集成了百度智能云现有的分布式存储架构。IBM TS4500 磁带库(用于存储冷数据)将与传统固态驱动器(用于存储热数据)和硬盘驱动器(用于存储暖数据)配合使用。数据可以在分层存储系统中无缝移动,因此实现了高性能访问。而且,磁带可以保留 30 多年,其成本比磁盘低得多。

于淼说到:“IBM 解决方案给我们留下了深刻的印象。借助 IBM Storage Scale,不仅可以让数据在环境中自由流动,还可以简化存储架构,以便于管理和维护。”

为了确保新平台满足百度智能云的长期可扩展性要求,IBM 专家创建了自动化部署工作流程。使用该工作流程可以一次性配置 20 个冷存储节点,从而显著提升部署和扩展速度。

IBM 还帮助百度更好地将 IBM 磁带存储解决方案中的数据与其自身平台进行调整和集成,使百度能够快速发现和解决问题,并将解决方案上线。截至目前,百度已在阳泉数据中心部署了 14 个 IBM TS4500 磁带库,存储超过 2EB 的冷数据。

于淼阐述道:“IBM 满足并超过了我们所有的核心选择标准,在成功进行概念验证后,我们确信用 IBM Storage 解决方案的 IBM TS4500 磁带库可以完美地解决磁盘存储的成本和空间挑战。我们与 IBM 合作了很长时间,而且在其他项目上与 IBM 有过成功的合作,所以我们确信 IBM 提供的技术创新和服务能够解决我们在部署大规模存储解决方案时遇到的挑战。”

IBM 冷数据存储解决方案提供了 12个9 的可靠性,并将运营成本降低了 80%;这些改进远远超出了我们的预期。 于淼 云存储部高级经理 百度智能云
加快技术和服务创新

通过用磁带取代磁盘,百度公司已达到并超出了其在开始更新冷数据存储平台时确定的成功标准。

于淼表示:“我们最初的目标是提供 11个9 的可靠性并将原来的磁盘存储解决方案的运营成本降低至少 50%,但 IBM 存储解决方案超出了这两个目标。IBM 冷数据存储解决方案提供了 12个9 的可靠性,并将运营成本降低了 80%;这些改进远远超出了我们的预期。”

凭借经济高效的可靠磁带存储平台以及支持 AI 和大数据工作负载的高性能数据平台,百度智能云可以满足快速的数据增长需求并扩充其创新产品和服务。

于淼解释道:“我们必须将大量数据存储在百度智能云以及我们的搜索服务、自动驾驶服务和其他服务上长达三年或更长时间,并在需要时将其用于分析和合规性用途。”

“目前,这些数据和其他关键数据能够以经济高效的方式安全地存储在我们的冷数据存储平台上,并可根据需要快速进行检索。磁带是一种高效的解决方案,因为它的耗电量非常少 - 比同等磁盘存储解决方案的耗电量少 90% 以上。因此,我们可以显著减少对环境的影响,并节省成本。”

于淼总结道:“通过将 IBM TS4500 磁带库与 IBM Storage Scale 和 IBM Storage Defender 软件相结合,百度智能云可以降低成本并实现快速扩展,从而满足爆炸式的数据增长需求。接下来,我们计划为百度公司创建统一的磁带存储管理平台;我们还期待与 IBM 合作,在整个组织中发掘磁带存储平台的全部潜力。”

IBM 存储部互联网高级客户经理蒋军华 (Jun Hua Jiang) 表示:“我们期待与百度公司合作,丰富他们的云存储架构,为百度集团和行业客户打造全球领先的数据服务。

百度徽标
关于百度公司和百度智能云

百度公司(ibm.com 外部链接)成立于 2000 年,总部位于中国北京,是一家领先的人工智能公司。百度智能云是百度面向智能时代的基础架构。凭借全栈人工智能技术能力,百度智能云以其先进的技术和全面的解决方案为多个行业的数千家客户赋能。

 

阅读 PDF
法律

© Copyright IBM Corporation 2023。IBM Corporation, New Orchard Road, Armonk, NY 10504

美国出品,2023 年 3 月。

IBM 和 IBM 徽标是 International Business Machines Corporation 在美国和/或其他国家或地区的商标或注册商标。其他产品和服务名称可能是 IBM 或其他公司的商标。IBM 商标的最新列表可在 ibm.com/trademark 上找到。

本文档为自最初公布日期起的最新版本,IBM 可能随时对其进行更改。IBM 并不一定在开展业务的所有国家或地区提供所有产品或服务。

以上所有引用或描述的客户实例的展示取决于部分客户使用 IBM 产品的方式以及他们可能取得的结果。实际的环境成本和性能特征会因具体客户配置和情况而有所不同。无法提供通用的预期结果,因为每个客户的结果将完全取决于客户的系统和订购的服务。本文档内的信息“按现状”提供,不附有任何种类的(无论是明示的还是默示的)保证,包括不附有关于适销性、适用于某种特定用途的任何保证以及非侵权的任何保证或条件。IBM 产品根据其提供时所依据的协议条款和条件获得保证。

关于 IBM 未来方向、意向的声明仅仅表示了目标和意愿而已,可能会随时更改或撤销,恕不另行通知。

可能会报告未压缩和压缩数据的实际可用存储容量,并且会有所不同,并且可能会小于规定的容量。