昆士兰大学
利用高性能数据存储为 AI 研究提供更快的洞察力
了解更多信息
两个人正在平板电脑上分析数据

作为世界一流的研究机构,昆士兰大学 (UQ) 希望简化其高性能计算 (HPC) 环境的数据采集、存储、分析和管理。该大学与 IBM 业务合作伙伴 Sundata 合作,利用 IBM® Spectrum Scale 软件开发了统一数据架构,大大加快了图像密集型和 AI 工作负载的速度。

业务挑战

为了加快研究合作(包括复杂的 AI 驱动项目),昆士兰大学需要一个存储解决方案,能够支持每天产生的数百 TB 数据。

变革

UQ 建立了一个由 IBM Spectrum Scale 支持和集中管理的高性能数据结构,最近又增加了一个 IBM Elastic Storage System (ESS) 解决方案,以支持其最快的高性能计算环境。

结果 2 小时即可实现软件定义存储的投资回报
每周可为研究人员节省数百小时的处理时间
医学成像分析的运行时间加快约 74%
帮助加快关键研究的发现时间
数据量呈指数级增长
由高度可扩展、经济高效的存储结构提供支持
业务挑战案例
站在昆士兰大学 AI 驱动研究的前沿

我们如何利用超声波技术使治疗性抗体突破血脑屏障,延缓阿尔茨海默氏症的发展?果蝇的神经回路能为我们设计机器人动作提供哪些启示?为什么细胞炎症会导致癌症?我们如何通过对纳米级尺寸的活细胞进行实时成像来了解更多信息?在昆士兰大学,富有创造力的研究人员致力于解决这些问题和其他更多难题,他们的发现往往能够改变世界和人们的生活。

专注于这些问题的研究团队依靠大学最快的 GPU 加速计算机开展尖端工作。这台超级计算机专为成像密集型科学和 AI 工作负载而设计,它与大学的其他高性能计算系统一样,需要极快、可扩展和灵活的数据存储,并可随时随地使用。

为了加快从数据采集到深入分析的速度,昆士兰大学研究计算中心 (RCC) 寻求部署统一的高性能存储策略和架构,以有效支持和管理全校范围内的数据采集和分析工作。

RCC 希望解决方案不仅能适应数据量、速度和种类的指数级增长,还能提供快速的数据访问。RCC 的主任教授 David Abramson 解释说,大学的研究人员使用各种计算机系统(从台式机到 HPC Cluster)以及各种科学仪器(如核磁共振成像扫描仪、光学显微镜和 DNA 测序仪)生成结构化和非结构化数据。他说:“我们的数据范式是保留一份逻辑副本,然后以多种不同方式呈现,使研究人员在需要的时候、需要的地方都能获得数据。”在评估潜在解决方案的同时,RCC 还在寻找可根据大学未来需求进行扩展的技术。

利用 ESS 解决方案,我们获得了超级计算机内高速并行文件系统的所有优势,以及 AFM 和其他 IBM Spectrum Scale 功能所提供的数据管理透明度。 Jake Carroll 研究计算中心首席技术官 昆士兰大学
变革案例
具有按需访问功能的 HPC 存储

RCC 建立了一个名为 MeDiCI(都市数据缓存基础设施)的高性能数据存储结构,由 IBM Spectrum Scale 提供支持和集中管理。昆士兰大学研究计算中心首席技术官 Jake Carroll 解释说:“研究人员要想推动创新,就必须能够利用最先进的研究计算基础设施,以及时、可扩展和突破边界的方式开展高质量的研究。我们与 IBM 的合作就有助于满足这些需求。有了 MeDiCI,昆士兰大学和其他国际机构的研究人员和学生可以无缝地处理存储在昆士兰大学任何计算集群上的数据,并开展合作。”

Abramson 说:“"当研究人员坐下来时,他们会看到所有的数据。他们没有意识到这些数据实际上是从远程数据中心以盲速通过光缆传输过来的。”

此外,MeDiCI 生态系统还支持各种平台、仪器和数据。Abramson 表示:“IBM Spectrum Scale 软件使我们能够将所有不同的存储源孤岛统一到一个集成的智能存储基础架构中,然后以任何合适的协议呈现数据,从而实现更快的分析和更大的资源效用。MediCI 还自动捕获项目元数据,包括用户、仪器和数据参数。”

RCC 团队继续推进发展 MeDiCI 基础设施,最近将其部署为 UQ HPC Wiener 的存储解决方案(ibm.com 外部链接)。其目标是让研究人员在相同的时间内完成更多工作,因为该平台提供了更高的吞吐量。Carroll 解释说:“我们需要的解决方案不仅要能维持每秒千兆字节的高带宽,还要能满足极高的 IOPS 要求,以支持以前所未有的速度,同时从磁盘系统和闪存中获取海量数据。”

Carroll 继续说道:“我们希望[硬件平台安装]有 IBM Spectrum Scale,因为它的功能可以说非常独特。”他补充说:“利用 ESS 解决方案,我们获得了超级计算机内高速并行文件系统的所有优势,以及 AFM 和其他 IBM Spectrum Scale 功能所提供的数据管理透明度。这种集成符合我们用户的工作流程,而在科学产出中,工作流程才是王道。这就是我们利用软件定义存储的原因。

借助 ESS 解决方案,UQ 可以支持高达 40 GB 吞吐量的海量数据,并能够扩展到艾字节的存储容量,其混合云模式还能提供快速的元数据访问。利用 IBM Spectrum Scale RAID 擦除编码功能,该解决方案可支持高水平的存储可靠性、可用性和性能。与 AFM 相结合,它还使 RCC 能够简化特定项目工作流程中的数据访问,同时仍然保持单一、通用的存储架构。

澳大利亚的 IBM Systems Lab Services 和 IBM Systems 技术销售团队与 Sundata 和 RCC 合作,在 InfiniBand 网络上快速部署 ESS GH14S 解决方案,并将其与端到端 MeDiCI IT 架构集成。这些团队团结协作,注重每个阶段的细节,在五天内就完成了阵列的实施。

RCC 最近实施了 IBM Storage Insights 产品,这是一个基于云的存储管理和支持平台,具有预测分析功能。它为团队提供了对整个基础架构更深入、更内聚的可视性,通过更快地解决问题实现更高的性能

最近,IBM 在昆士兰大学安置了一台新的 ESS 5000,进行广泛的测试和评估。Abramson 说,IBM 与 RCC 合作,是因为 RCC 在扩展现有技术方面享有盛誉。

Abramson 解释说:“我们已经在昆士兰大学应用 Spectrum Scale 方面展示了重大创新。针对其在我们的环境中的运行情况以及可以改进的地方,我们已经可以提供反馈。我很高兴能够在我们最苛刻的研究需求中测试 IBM 的其他尖端硬件。”

利用 ESS 解决方案,我们获得了超级计算机内高速并行文件系统的所有优势,以及 AFM 和其他 IBM Spectrum Scale 功能所提供的数据管理透明度。这种集成符合我们用户的工作流程,而在科学产出中,工作流程才是王道。这就是我们利用软件定义存储的原因。 Jake Carroll 研究计算中心首席技术官 昆士兰大学
案例成果
更快的发现时间

通过采用 IBM Spectrum Scale 技术的统一数据架构,例如用于访问全校文件的主动文件管理 (AFM),RCC 可以在集中数据管理和控制 IT 成本的同时,优化研究人员的时间和学校资源。在昆士兰大学,研究人员现在拥有全面的计算和存储能力,可支持大规模创建海量数据和运行复杂的工作负载。

借助 ESS 设备提供的更大带宽和 IOPS,依靠 Wiener HPC 系统的研究团队能够以前所未有的速度处理数据。Carroll 表示:“机器学习和 AI 是 ESS GH14S 的重中之重,ESS GH14S 能够提高超级计算机 GPU 的利用率,让研究人员在相同的时间内完成更多的工作,加快发现的速度。”事实上,新的存储阵列只用了两个小时就实现了投资回报,由此实现的性能改进,每周为昆士兰大学的医学影像研究人员节省了数百个小时的处理时间。

例如,在昆士兰大学的昆士兰脑研究所 (QBI),研究阿尔茨海默病的神经科学家将运行项目工作量(即有限元分析)所需的时间减少了约 74%,运行时间缩短了 18.72 小时。通过深入了解超声波在人体头骨上的分布,研究人员可以开发出克服血脑屏障进行药物输送所需的技术。Carroll 解释道:“这是一项非常复杂的任务,需要大量的计算能力和存储空间。”

在另一个案例中,研究果蝇神经回路的 QBI 和其他研究人员开发出了标记和操纵单个神经元类型的遗传方法。使用 Wiener,他们可以快速处理小昆虫运动时的数 TB 高速视频,精确测量触角、腹部和六条腿关节的运动。有了对每个神经元作用的新认识,他们就能更好地理解支配复杂运动任务(如行走和飞行行为)的原理。

在昆士兰大学分子生物科学研究所,研究细胞炎症的研究人员利用晶格光片显微镜捕捉活细胞过程的高分辨率 4D 图像。这些图像利用一种称为反卷积显微镜的数学建模过程,提供了前所未有的实时癌症形成过程。Wiener 存储解决方案有助于实现这一目标,包括将反卷积时间缩短 70% 以上。通过建立一个用户友好型门户网站来简化反卷积任务,RCC 为研究人员节省了更多时间。

Carroll 表示:“我们必须提供最好的基础设施,以支持范围广泛的研究工作。鉴于数据呈指数级增长,我们还需要实现规模经济。IBM 和 Sundata 帮助我们实现了这一点。”

澳大利亚昆士兰大学紫色徽标
昆士兰大学

一个多世纪以来,昆士兰大学(University of Queensland,简称 UQ)(ibm.com 外部链接)在实现新知突破和创新、构建和谐美好世界方面一直享誉全球。在最负盛名、广受认可的世界大学排名中,昆士兰大学一直名列世界顶尖大学之列。昆士兰大学获得的国家级教学奖也比澳大利亚任何其他大学都多。对高质量教学的承诺使我们在三个校区学习的 53,600 名在校学生能够为社会带来积极的变化。我们的研究具有全球影响力,由六个学院、八个研究所和 100 多个研究中心的 1500 多名跨学科研究人员组成。

采取后续步骤

要了解有关 IBM Storage 解决方案的更多信息,请联系您的 IBM 代表或 IBM 合作伙伴,或访问以下网站:ibm.com/storage

关于 Sundata

IBM 合作伙伴 Sundata 成立于 1986 年,帮助企业、政府和教育机构调整其业务战略与技术。该公司是位于布里斯班的一家中型系统集成商和经销商,提供广泛的规划、安装、支持和融资服务。

点击此处查看更多成功案例 IBM@UQ Centre of Excellence
法律

© Copyright IBM Corporation 2020. IBM Corporation, IBM Systems Hardware, New Orchard Road, Armonk, NY 10504.
2020 年 10 月在美国制作。

IBM、IBM 徽标、ibm.com、IBM Elastic Storage 以及 IBM Spectrum 是 International Business Machines Corp. 在世界各地司法辖区的注册商标。其他产品和服务名称可能是 IBM 或其他公司的商标。www.ibm.com/cn-zh/legal/copytrade.shtml 的 “Copyright and trademark information” 部分包含最新的 IBM 商标列表。

本文档为自最初公布日期起的最新版本,IBM 可能随时对其进行更改。IBM 业务合作伙伴自行设定价格,价格可能会有所不同。 IBM 并不一定在开展业务的所有国家或地区提供所有产品或服务。

文中引用的性能数据和客户实例仅作说明之用。实际性能结果可能因具体配置和操作条件而异。用户自行负责评估和验证任何其他产品或程序与 IBM 产品和程序搭配运行的情况。本文档内的信息“按现状”提供,不附有任何种类的(无论是明示的还是默示的)保证,包括不附有关于适销性、适用于某种特定用途的任何保证以及非侵权的任何保证或条件。IBM 产品根据其提供时所依据的协议条款和条件获得保证。

可能会报告未压缩和压缩数据的实际可用存储容量,并且会有所不同,并且可能会小于规定的容量。

注:成功案例中的前导空间图片为库存照片。