对 IBM Spectrum LSF 的其他更改
以下更改将影响 LSF 行为的其他方面。
增强 LSF 多集群功能 中作业转发方式的公平份额计算
在先前版本的 LSF中,在计算公平共享策略中的用户优先级时,如果使用 LSF 多集群功能将作业转发到远程集群,那么不会更新提交主机的公平共享计数器。 例如,如果公平份额计算确定用户的作业具有高优先级并且没有可用的本地资源,那么该作业将转发到远程集群,但 LSF 调度程序仍会再次考虑该作业以进行转发,因为不会更新公平份额计数器。
为了解决此问题, LSF 现在引入了新的转发作业槽因子 (FWD_JOB_FACTOR) ,以在对公平共享策略进行用户优先级计算时对转发作业进行考虑。 要使用此转发的作业槽因子,请在 lsb.params 文件中为集群范围的设置指定非零值 FWD_JOB_FACTOR ,或者在 lsb.queues 文件中为单个队列指定非零值。 如果在这两个文件中都定义了队列值,那么队列值优先。 在用户优先级计算中, FWD_JOB_FACTOR 参数用于转发作业槽的方式与 RUN_JOB_FACTOR 参数用于作业槽的方式相同。 要将远程作业和本地作业视为相同,请将 FWD_JOB_FACTOR 设置为与 RUN_JOB_FACTOR相同的值。
在公平共享计算中对转发的作业进行记帐时,如果使用全局公平共享,那么可能会对作业使用情况进行两次计数,因为在提交集群上对作业使用情况进行计数,然后在远程集群上运行作业时再次对作业使用情况进行计数。 要避免此问题,请通过在 lsf.conf 文件中指定 LSF_MC_FORWARD_FAIRSHARE_CHARGE_DURATION 参数来指定 LSF 从公平共享调度的用户优先级计算中除去转发作业的持续时间。 如果已启用全局公平共享,并且打算使用新的转发作业槽因子,请将 LSF_MC_FORWARD_FAIRSHARE_CHARGE_DURATION 的值设置为 lsb.globalpolicies 文件中 SYNC_INTERVAL 参数的值的两倍 (大约 5 分钟) ,以避免重复计算转发作业的作业使用情况。 如果未启用全局公平共享,那么不需要此参数。
动态装入硬件位置 (hwloc) 库
LSF 现在允许您在需要支持较新的硬件时,从系统库路径动态装入硬件位置 (hwloc) 库。
以下平台的 LSF 与 hwlocV 1.11.8的库和头文件进行编译和链接,并在不启用此功能的情况下检测大多数最新硬件:
- Linux x64 Kernel 2.6, glibc 2.5
- Linux x64 Kernel 3.10, glibc 2.17
- Linux ppc64le Kernel 3.10, glibc 2.17
- Linux ARMv8 Kernel 3.12, glibc 2.17
- Windows
所有其他平台都使用 hwlocV 1.8。
通过在 lsf.conf 文件中将 LSF_HWLOC_DYNAMIC 参数定义为 Y ,启用 hwloc 库的动态装入。