什么是网格计算?

一名男子坐在两台电脑屏幕前

什么是网格计算?

网格计算是一种分布式计算,它将位于不同地点的各种计算资源汇集起来以完成共同任务。

两种计算类型都依赖共享计算基础设施,但网格计算更侧重于解决大规模科学或工程问题,而分布式计算则专注于更简单的任务。

网格计算常与被称为“重大挑战”的计算类型相关联——这类计算问题植根于科学或工程领域,并具有广泛的应用范围。网格计算助力解决的最著名重大挑战或许当属 CERN 的大型强子对撞机,它是全球最强大的粒子加速器。

除应对重大挑战外,网格计算还用于各类更实际的商业用途,包括大数据管理、高速数据分析、洞察生成、科学研究、复杂的气象与金融模拟,以及高性能计算 (HPC)

网格计算与云计算

云计算是通过互联网按需访问计算资源,虽与网格计算相似,但在若干重要方面存在差异。虽然云计算和网格计算基础设施均被视为分布式系统,但云计算基于集中管理、高度灵活的客户端-服务器模式,用户访问便捷。企业通过互联网使用标准协议访问云服务,并仅为所需计算资源付费。

相比之下,网格计算依赖协作管理的基础设施,其资源由单一组织拥有和管理。这使得它非常适合运行持续稳定工作负载的企业,但相比云计算架构,其访问难度更高且可扩展性较弱。例如,网格用户必须使用网格中间件(专用于网格计算架构的应用程序),而非通过标准计算协议访问特定服务。

小球在轨道上滚动的三维设计

最新的 AI 新闻 + 洞察分析

在每周的 Think 时事通讯中,发现专家精选的有关 AI、云等的洞察分析和新闻。 

网格计算如何工作?

网格计算环境由不同的节点组成,这些节点是被编程执行特定任务的计算机、设备和资源。网格计算的这一特性使其比集群计算(另一种通过网络共享计算资源的计算类型)更具多样性。 虽然计算机集群具有固定的硬件和任务,但网格计算拥有灵活得多的资源共享环境。

典型的网格计算网络包含两种组件:节点和中间件。

节点

网格计算架构依赖三类网格节点来完成网格计算任务:

  • 用户节点:用户节点是向网格计算系统发送特定资源请求的计算机。
  • 提供者节点:提供者节点是共享资源的计算机。用户节点和提供者节点常会切换角色,既向某个节点请求资源,又向其他节点共享资源。
  • 控制节点:控制节点管理网络并分配网格上的各种计算资源。中间件作为所有网格计算网络必备的应用,运行在控制节点上。

中间件

在网格计算基础设施中,中间件被称为网格中间件,其功能是作为软件层使各节点能够通信和交换资源。网格中间件负责协调用户节点发起的请求与提供节点维护的可用资源。

网格中间件具有高度专业性,能够处理对各种计算资源(如处理能力 (CPU)、内存和存储空间)的请求。它对于网格基础设施的功能至关重要,通过平衡资源来防止滥用,并确保网格计算系统安全高效地运行。

网格计算架构

典型的网格计算架构由四个层次组成,包括应用层、中间件层、资源层以及使各节点能够连接到网络的底层:

  • 第 1 层:第一层在标准网格计算模型中被称为“顶层”,由具有特定用途的高级应用组成——例如执行数据分析或建模的应用。
  • 第 2 层:网格计算架构的第二层是中间件所在层,负责管理来自用户节点的请求,并根据需要分配提供节点的资源。
  • 第 3 层:网格计算网络的第三层由网络上的所有可用资源组成,例如 CPU、内存、存储空间、硬件、软件等。
  • 第 4 层:最底层也被称为“底层”或“结构层”,使网格计算网络中的所有节点能够相互连接。第 4 层由物理和逻辑资源共同构成,包括超级计算机、存储系统、分布式文件系统及计算机集群。
高性能计算

适用于 IBM Cloud 的第四代 Intel Xeon 可扩展处理器

了解 Intel 和 IBM 对云行业下一代微架构的承诺。

五种网格计算类型

根据用途不同,网格计算通常可划分为五种基本类型。

计算

计算网格是最常见的网格计算基础设施类型,被广泛部署于各类高性能计算任务中。计算网格具有高度资源密集型特征,通过整合多台高性能计算机的计算能力,来执行复杂模拟并解决大规模数学问题与算法。

计算网格能将复杂任务分解为更小的简单子任务,并将每个子任务分配给相应节点。这种被称为并行计算或并行编程的过程,能显著减少解决复杂资源密集型问题所需的时间与成本,这类问题正是人工智能 (AI)机器学习 (ML)区块链等前沿技术的核心组成部分。由于其高速特性,并行计算非常适合需要实时处理的先进技术,如自动驾驶汽车、气象建模和物联网 (IoT) 应用。

资源清扫

资源清扫网格(也称为 CPU 资源清扫网格或清扫循环)在布局和用途上与计算网格类似,但存在一个关键差异。在资源清扫网格中,节点和计算机仅向更大的网格贡献可用资源。此处的资源清扫一词指在连接的计算资源网格中搜寻可用资源的过程。

在资源清扫网格中,部分节点执行与网格宏观目标相关的任务,而其他节点则被用于不相关的其他用途。若网络用户需要为非网格相关目的访问计算机,网格软件会自动识别可用空闲节点与计算资源并进行分配。

数据

数据网格是一种大型网格计算网络,通过连接计算机来提升 数据存储容量。数据网格计算会将大型数据集分解,以便存储在网络连接的多台计算机上。数据网格中的计算机通常跨越大范围地理区域交换数据与资源,从而连接偏远地区的用户。

数据网格非常适合可分解为更小子任务并能并行求解的计算任务。它们广泛应用于微服务技术,并作为私有云的基础架构——通过将设备资源池化,并将其部分资源分配用于特定用途。此外,数据网格常配备虚拟机 (VM),从而为数据处理和存储等常见计算任务实现更高效的资源池化。

协作

协作网格(或称协作网格计算框架)使团队能够利用计算网格更便捷地访问共享工作与资源。

协作网格让分布广泛的团队在追求共同目标时,能实时共享专业知识并协同贡献工作成果。例如,通过整合全球不同大学和机构提供的共享数据与计算资源,协作网格助力众多气候科学家和物理学家协同开展研究工作。

模块化

模块化网格专注于将特定系统内的计算资源分离为独立模块,以提升应用程序性能。在模块化网格中,GPU、存储器和内存等常用共享资源会被分解并重新组合,从而更高效地运行特定应用程序和服务。

这种模块化方法使 IT 团队在定制计算环境以适应需求时能获得更大灵活性。例如,在模块化网格中,可根据单个应用程序或服务的具体资源需求进行针对性配置。

网格计算的优势

相比传统架构,网格计算能让企业更快速高效地处理海量数据。通过利用网格计算将资源用于多种商业目的,企业获得了更高的灵活性、可扩展性和成本效益。以下是各组织从网格计算中获得的常见优势。

提高效率

网格计算让大型组织能够通过将庞大复杂的任务分解为更小的子任务来实现高效处理。被拆分为独立的较小问题后,网格计算利用连接节点的计算资源并行解决问题,从而节省时间与能耗。

提高了可扩展性

在网格计算环境中,计算资源可以按需增减,从而降低成本并优化计算资源利用率。这对于工作负载需求波动较大、企业需要根据实际需求动态扩展的场景尤为有用。

降低成本

网格计算能通过最大限度利用现有硬件来帮助组织节省成本。网格计算框架使企业能够重用现有计算机,优化内存、存储器、GPU 等原本可能处于闲置状态的资源。

借助可扩展的开源云平台

网格计算环境具有高度灵活性,因为它们运行在由互连节点组成的网格计算网络上,这些节点不必处于同一物理位置。全球各大学的科学家和研究人员利用网格计算环境,通过共享超级计算资源来应对气候变化和气象模式等数据密集型的复杂问题。

增强的资源管理

大型企业常拥有处于闲置或未充分利用状态的计算资源,这些资源仍需维护并消耗能源。网格计算使这些企业能够将工作负载分布到未充分利用的资源上,从而提升基础设施优化程度。与其他类型的计算环境不同,网格计算框架不需要最新、最先进的技术工具,而是可以在现有硬件上运行。  

网格计算用例

网格计算已被各行各业的大型组织广泛采用。高校通过部署网格来解决需要超级计算机并与全球同事协作的大型复杂问题。依托网格计算框架构建的强大虚拟超级计算机,已成功应对了与气候变化、天体物理学等相关的复杂科学与工程任务。以下是网格计算最常见的用例。

  • 银行业:银行将网格计算广泛用于安全与风险管理领域。借助大规模网格的聚合计算资源,金融机构能预测股市变化并发现趋势,从而为客户制定更明智的金融决策。 根据商业价值研究院数据,78% 的银行表示去年对生成式 AI 采取了策略性部署。
  • 生命科学:生物学、基因组学和神经科学等生命科学领域日益依赖网格计算来挖掘海量数据获取洞察,并创建更精确的模拟。例如在人类基因研究中,网格计算助力处理和分析 DNA 测序生成的数据集,协助研究人员识别基因突变。
  • 边缘计算与物联网 (IoT) 应用:边缘计算作为一种分布式计算框架,与前沿 AI 及物联网应用密切相关,它利用网格计算在数据源头进行实时处理分析。据 Straits Research 最新报告,边缘计算对网格计算在未来六年保持 17.1% 的强劲复合年增长率至关重要。1
  • 电影制作:当今电影中众多高级特效都采用某种网格计算框架来加速处理。特效设计师依赖网格服务来缩短制作周期,并在渲染复杂图像时确保按时交付。
  • 游戏开发:电子游戏开发者依托网格计算获取额外计算资源,以构建玩家即将沉浸的视觉震撼世界。网格计算系统将大型计算任务分解并分配给互联计算机网络中的节点,从而缩短制作周期。
相关解决方案
IBM Spectrum LSF 套件

IBM Spectrum LSF Suites 是面向分布式高性能计算 (HPC) 的工作负载管理平台和作业调度程序。

深入了解 Spectrum LSF Suites
高性能计算 (HPC) 服务器和存储解决方案 | IBM

IBM 的混合云 HPC 解决方案可助力应对大规模计算密集型挑战,并加快获取洞察分析的速度。

深入了解 HPC 解决方案
云基础设施解决方案

查找适合企业的业务需求的云基础设施解决方案,并按需扩展资源。

云解决方案
采取后续步骤

借助 IBM 的 HPC 解决方案,为要求最严苛的 AI 和计算密集型工作负载提供动力。利用混合云的灵活性和尖端基础设施,加速您的创新之路。

深入了解 HPC 解决方案
脚注