关于 IBM Spectrum LSF Data Manager

当需要大量数据来完成计算时,您的应用程序最好不受阻碍地访问与应用程序执行环境相关的数据位置所要求的数据。 LSF Data Manager 通过将所需数据 登台 以尽可能接近应用程序站点来解决数据局部性问题。

许多应用在几个领域需要大量数据: 用于工业制造的流体动力学模型,用于石油和天然气勘探的地震感官数据,用于生命科学的基因序列等。 将这些大型数据集尽可能靠近应用程序运行时环境,对于保持计算资源的最佳利用率至关重要。

无论您是在单个集群中运行这些数据密集型应用程序,还是要在地理上分离的集群之间共享数据和计算资源, LSF Data Manager 都提供了以下关键功能。

  • 输入数据可以从外部源存储库登台到集群执行主机可访问的高速缓存。
  • 在作业完成后,将从高速缓存异步 (无依赖) 暂存输出数据。
  • 数据传输与作业分配分开运行,这意味着更多作业可以在等待大型数据传输时请求数据而无需消耗资源。
  • 远程执行集群选择和集群亲缘关系基于 IBM® Spectrum LSF 多集群功能 环境中的数据可用性。 LSF Data Manager 将所需数据传输到作业转发到的集群。