资源管理
以下新功能会影响资源管理和分配。
不需要文件传输的回填直接数据登台作业
LSF 现在支持对使用脉冲串缓冲区但不需要 LSF 来处理文件传输的直接数据登台作业进行回填。 即, LSF 管理存储器 (脉冲串缓冲区) ,但作业本身处理文件传输。 由于 LSF 未处理文件传输,因此 LSF 会为数据登台作业创建计划,并保留必要的资源以防止其他作业使用这些资源。 LSF 认为这些作业没有暂存区时间,这允许 LSF 调度程序将作业回填到保留的槽。
由于直接数据登台作业正在处理文件传输,因此 LSF 无法可靠地预测作业生命周期内的存储器使用情况,因此此功能部件在 lsf.conf 文件中包含配置参数,以提供对潜在存储器使用情况的限制。 现在,除了用于报告可用存储空间的资源外,您还可以使用 LSB_STAGE_STORAGE 参数来指定用于报告总存储空间的资源。 这将阻止 LSF 分配比可用的存储空间更多的存储空间,因为资源信息已过时。 此外,新的 LSB_STAGE_MAX_STAGE_IN 参数控制在主机上运行的并发登台进程的最大数目。
保证资源池
在 lsb.resources 文件的 GuaranteedResourcePool 部分中引入了新参数 ADMINISTRATORS 。 用户可以为每个 GuaranteedResourcePool设置单个管理员。 然后,管理员可以通过运行 bconf 命令来管理相应的资源池。
不合格暂挂限制
在 lsb.resources 文件的 LIMIT 部分中引入了新参数 INELIGIBLE 。 用户可以确定是否希望作业处于不合格的暂挂状态。
计算单元资源需求的最佳合适分配
使用计算单元指定资源需求字符串时, LSF 现在可以将最适合的分配算法用于考虑集群的网络拓扑的作业布置。 此算法尝试将作业放置在跨尽可能少的计算单元数的分配中,而倾向于使用具有较少可用插槽的计算单元来避免集群分段。 此算法还会在计算作业分配时考虑网络层次结构的多个级别。
要使用最佳匹配分配算法,请在计算单元资源需求字符串中指定计算单元调度首选项时使用 bestfit :
bsub -R "cu[pref=bestfit]" command
请勿将 bestfit 与 cu[balance] 关键字配合使用。