资源管理

以下新功能会影响资源管理和分配。

IBM Spectrum LSF 的资源连接器中的新增功能

扩展的 AWS 支持

此功能部件扩展 LSF 资源连接器 AWS 模板以指定 Amazon EBS优化实例。 AWS 模板还支持实例属性中的 LSF 互斥资源语法 (!resource)。 仅当作业在其组合的资源需求中显式要求资源时, LSF 才会考虑对模板的需求。

启动 Google Compute Cloud 实例

LSF 集群可以从 Google Compute Cloud 启动实例,以满足暂挂的工作负载。 这些实例加入 LSF 集群。 如果实例变为空闲,那么 LSF 资源连接器会自动将其删除。 使用 googleprov_config.jsongoogleprov_templates.json 文件将 Google Compute Cloud 配置为资源提供程序。

bhosts -rcbhosts -rconly 命令显示有关提供程序主机的额外主机信息

使用 bhosts -rcbhosts -rconly 命令可查看有关 LSF 资源连接器供应的资源的信息。

-rc-rconly 选项使用第三方 mosquitto 消息队列应用程序来支持这些 bhosts 选项显示的其他信息。 mosquitto 二进制文件作为 LSF 分发的一部分包含在内。 要使用 LSF随附的 mosquitto 守护程序,必须在 lsf.conf 文件中配置 LSF_MQ_BROKER_HOSTS 参数,以使 LIM 能够启动 mosquitto 守护程序,并使 ebrokerd 能够将资源提供程序信息发送到 MQTT 消息代理。

IBM Spectrum LSF 的数据管理器中的新增功能

增强型 LSF 多集群作业转发

此功能通过将作业转发与 IBM Spectrum LSF multicluster capability (LSF 多集群功能) 配合使用,增强了混合云环境的 LSF 数据管理器实现。 在此实现中,在公共云中运行的集群将用作执行集群,此功能使提交集群能够将转发作业的数据需求推送到执行集群并接收来自转发作业的输出。 要启用此功能,请在执行集群中的数据传输队列的 lsb.queues 文件中指定 SNDJOBS_TO 参数,并在提交集群的 lsb.queues 文件中指定 RCVJOBS_FROM 参数。 数据管理器主机的 lsf.datamanager 文件中 FILE_TRANSFER_CMD 参数的路径必须存在于提交集群中。

指定文件夹作为数据需求

当您将文件夹指定为作业的数据需求时, LSF 将为整个文件夹生成单个签名,并且仅需要单个传输作业。 现在还可以在作业数据需求中使用符号链接的文件,现在可以在作业数据需求的路径中使用冒号 (:) 字符。

提交具有数据需求的作业时,以斜杠结尾的数据需求和星号 (/*) 将解释为文件夹。 仅暂存文件夹顶级的文件。 例如,
bsub -data "[host_name:]abs_folder_path/*" job

在路径末尾使用星号字符 (*) 时,数据需求字符串必须使用引号。

以斜杠 (/) 结尾的数据需求也会解释为文件夹,但包括子文件夹在内的所有文件都会登台。 例如,
bsub -data "[host_name:]abs_folder_path/" job

要将文件夹指定为作业的数据需求,您必须有权访问该文件夹及其内容。 您必须具有对文件夹的读和执行许可权,以及对常规文件的读许可权。 如果您无权访问文件夹,那么将拒绝提交。