install.config
install.config 文件包含用于 LSF 安装和配置的选项。 使用 lsfinstall -f install.config 命令可使用 install.config 文件中指定的选项来安装 LSF 。
模板位置
安装后,包含指定选项的 install.config 文件位于 LSF_TOP/<version>/install/ 目录中。
格式
NAME="STRING1 STRING2 ..."等号 = 必须跟在每个 NAME 参数之后,即使没有值跟在后面,并且等号周围也不能有空格。
包含多个以空格分隔的字符串的值必须括在引号中。
将忽略以数字符号 (#) 开头的空白行和行。
参数
- CONFIGURATION_TEMPLATE
- EGO_DAEMON_CONTROL
- ENABLE_CGROUP
- ENABLE_DYNAMIC_HOSTS
- ENABLE_EGO
- ENABLE_STREAM
- LSF_ADD_SERVERS
- LSF_ADD_CLIENTS
- LSF_ADMINS
- LSF_CLUSTER_NAME
- LSF_DYNAMIC_HOST_WAIT_TIME
- LSF_ENTITLEMENT_FILE
- LSF_MASTER_LIST
- LSF_QUIET_INST
- LSF_SILENT_INSTALL_TARLIST
- LSF_TARDIR
- LSF_TOP
- PATCH_BACKUP_DIR
- PATCH_HISTORY_DIR
- SILENT_INSTALL
配置模板
语法
CONFIGURATION_TEMPLATE="DEFAULT" | "PARALLEL" | "HIGH_THROUGHPUT"
描述
仅适用于 UNIX 或 Linux 上的 LSF Standard Edition 。 选择此安装的配置模板,这将确定安装完成时指定的初始 LSF 配置参数。 以下是此参数的有效值:
DEFAULT- 将此模板用于具有混合工作负载的集群。 此配置可以为不同类型的工作负载提供良好的性能,但不会针对特定类型的集群进行调整。
PARALLEL- 此模板为大型并行作业提供额外支持。 由于此配置是为长时间运行的并行作业设计的,因此请勿将此配置用于由于每个作业的报告时间较长而主要运行短作业的集群。
HIGH_THROUGHPUT- 此模板用于主要运行短作业的集群,其中超过 80% 的作业在一分钟内完成。 这种高周转率需要 LSF 更快速响应和快速行动。 但是,当守护程序变得更繁忙时,此配置将使用更多资源。
在 Windows 上安装 LSF Standard Edition 时,安装程序使用 DEFAULT 配置模板。
安装程序根据所选配置模板指定以下初始配置文件参数值:
DEFAULT- lsf.conf
DAEMON_SHUTDOWN_DELAY=180 LSF_LINUX_CGROUP_ACCT=Y LSF_PROCESS_TRACKING=Y- lsb.params
JOB_DEP_LAST_SUB=1 JOB_SCHEDULING_INTERVAL=1 MAX_JOB_NUM=10000 NEWJOB_REFRESH=Y SBD_SLEEP_TIME=7
PARALLEL- lsf.conf
LSB_SHORT_HOSTLIST=1 LSF_LINUX_CGROUP_ACCT=Y LSF_PROCESS_TRACKING=Y LSF_ENABLE_EXTSCHEDULER=Y LSF_HPC_EXTENSIONS="CUMULATIVE_RUSAGE LSB_HCLOSE_BY_RES SHORT_EVENTFILE"有关
PARALLEL配置模板的完整说明,请参阅启用 LSF HPC 功能。- lsb.params
JOB_DEP_LAST_SUB=1 JOB_SCHEDULING_INTERVAL=1 NEWJOB_REFRESH=YTRACK_ELIGIBLE_PENDINFO=Y
HIGH_THROUGHPUT- lsf.conf
LSB_MAX_PACK_JOBS=300 LSB_SHORT_HOSTLIST=1- lsb.params
JOB_SCHEDULING_INTERVAL=50ms MAX_INFO_DIRS=500 MAX_JOB_ARRAY_SIZE=10000 MAX_JOB_NUM=100000 MIN_SWITCH_PERIOD=1800 NEWJOB_REFRESH=YSBD_SLEEP_TIME=3
安装程序为所有配置模板指定以下初始配置参数:
- lsf.conf:
EGO_ENABLE_AUTO_DAEMON_SHUTDOWN=Y LSB_DISABLE_LIMLOCK_EXCL=Y LSB_MOD_ALL_JOBS=Y LSF_DISABLE_LSRUN=Y LSB_SUBK_SHOW_EXEC_HOST=Y LSF_PIM_LINUX_ENHANCE=Y LSF_PIM_SLEEPTIME_UPDATE=Y LSF_UNIT_FOR_LIMITS=MB - lsb.params:
ABS_RUNLIMIT=Y DEFAULT_QUEUE=normal interactive JOB_ACCEPT_INTERVAL=0 MAX_CONCURRENT_QUERY=100 MAX_JOB_NUM=10000 MBD_SLEEP_TIME=10 PARALLEL_SCHED_BY_SLOT=YRELAX_JOB_DISPATCH_ORDER=Y
- 公平共享调度 (LSF Standard Edition 和 LSF Advanced Edition): lsb.queues 文件的以下示例对除队列以外的所有队列启用公平共享调度admin和license:
Begin Queue ... FAIRSHARE=USER_SHARES[[default, 1]] ... End Queue - 主机组 (在 UNIX 或 Linux上为LSF Standard Edition ): 将 管理 候选主机分配给management_hosts主机组。
- 用户组 (UNIX 或 Linux上的LSF Standard Edition ): LSF 管理员分配给
lsfadmins用户组。 - lsb.modules 和 lsb.hosts 文件中的亲缘关系调度。
示例
CONFIGURATION_TEMPLATE="HIGH_THROUGHPUT"
缺省值
DEFAULT (使用缺省配置模板)
自我控制
语法
EGO_DAEMON_CONTROL="Y" | "N"
描述
启用 EGO 以控制 LSF res 和 sbatchd 守护程序。 如果希望 EGO 服务控制器启动 res 和 sbatchd 守护程序,请将该值设置为 "Y" ,如果它们失败,请重新启动。 要避免冲突,如果使用脚本来启动 LSF 守护程序,请将此参数保留为未定义。
示例
EGO_DAEMON_CONTROL="N"
缺省值
N (手动启动 res 和 sbatchd )
启用CGROUP
语法
ENABLE_CGROUP=Y | N
描述
使 LSF 能够根据 Linux cgroup 内存和 cpuacct 子系统来跟踪进程的 CPU 和内存记帐。
LSB_RESOURCE_ENFORCE="cpu memory"
LSF_PROCESS_TRACKING=Y
LSF_LINUX_CGROUP_ACCT=Y示例
ENABLE_CGROUP=Y
缺省值
N (请勿使用 Linux cgroup 来跟踪进程记帐)
启用动态主机
语法
ENABLE_DYNAMIC_HOSTS="Y" | "N"
描述
启用动态添加和除去主机。 如果要允许动态添加的主机,请将该值设置为 "Y" 。
如果启用动态主机,那么任何主机都可以连接到集群。 要启用安全性,请在安装后在 lsf.cluster.cluster_name 文件中配置 LSF_HOST_ADDR_RANGE 参数,并限制可连接到集群的主机。
示例
ENABLE_DYNAMIC_HOSTS="N"
缺省值
N (不允许使用动态主机)
启用自我
语法
ENABLE_EGO="Y" | "N"
描述
在 LSF 集群中启用 EGO 功能。
ENABLE_EGO="Y" 使 lsfinstall 命令取消注释 LSF_EGO_ENVDIR 参数,并在 lsf.conf 文件中设置 LSF_ENABLE_EGO="Y" 参数。
ENABLE_EGO="N" 使 lsfinstall 命令注释掉 LSF_EGO_ENVDIR 参数,并在 lsf.conf 文件中设置 LSF_ENABLE_EGO="N" 参数。
- 由 EGO 服务控制器进行 LSF 守护程序控制
- 启用了 EGO 的 SLA 调度
缺省值
N (在 LSF 集群中已禁用EGO )
启用GPU
语法
ENABLE_GPU=Y | N
描述
使 LSF 能够支持 GPU ,以便应用程序可以在 Linux 环境中使用 GPU 资源。 LSF 支持需要基于可用性的 GPU 的并行作业。
- lsf.conf:
LSB_RESOURCE_ENFORCE="gpu" - lsf.cluster.cluster_name:
Begin ResourceMap RESOURCENAME LOCATION ngpus ([default]) ngpus_shared ([default]) ngpus_excl_t ([default]) ngpus_excl_p ([default]) ... gpu_topology ([default]) End ResourceMap还有一些资源已添加到文件中,但缺省情况下已注释掉。 此处不显示已注释掉的资源。
- lsf.shared:
Begin Resource RESOURCENAME TYPE INTERVAL INCREASING CONSUMABLE DESCRIPTION # Keywords ngpus Numeric 60 N N (Number of GPUs) ngpus_shared Numeric 60 N Y (Number of GPUs in Shared Mode) ngpus_excl_t Numeric 60 N Y (Number of GPUs in Exclusive Thread Mode) ngpus_excl_p Numeric 60 N Y (Number of GPUs in Exclusive Process Mode) ... gpu_topology String 60 () () (GPU topology on host) End Resource还有一些资源已添加到文件中,但缺省情况下已注释掉。 此处不显示已注释掉的资源。
示例
ENABLE_GPU=Y
缺省值
N (不支持 GPU)
启用流
语法
ENABLE_STREAM="Y" | "N"
描述
启用 LSF 事件流。
如果您打算安装 IBM Spectrum LSF Analytics 或 IBM Spectrum LSF Application Center,请启用 LSF 事件流式方法 。
缺省值
N (已禁用事件流式方法)
lsf_add_servers
语法
LSF_ADD_SERVERS="主机名 [ 主机名...]"
描述
额外 LSF 服务器 主机的列表。
- 以空格分隔的主机名
- 包含主机名列表的文件的名称,每行一个主机。
有效值
任何有效的 LSF 主机名。
示例 1
主机名列表:
LSF_ADD_SERVERS="hosta hostb hostc hostd"
示例 2
主机列表文件:
LSF_ADD_SERVERS=:lsf_server_hosts
hosta
hostb
hostc
hostd缺省值
只有 LSF_MASTER_LIST 参数中的主机是 LSF 服务器 主机。
lsf_add_clients
语法
LSF_ADD_CLIENTS="host_name [host_name ...]"
描述
有效值
任何有效的 LSF 主机名。
示例 1
LSF_ADD_CLIENTS="hoste hostf"示例 2
LSF_ADD_CLIENTS=:lsf_client_hostshoste
hostf缺省值
未安装任何客户机主机。
LSF管理员
语法
LSF_ADMINS="用户名 [用户名 ... ]"
描述
必需。 LSF 管理员的列表。
列表中的第一个用户帐户名称是主 LSF 管理员。 此用户名不能是 root 用户帐户。
通常,此帐户名为 lsfadmin。 此帐户拥有作业事件的 LSF 配置文件和日志文件。 此帐户还有权重新配置 LSF 以及控制其他用户提交的批处理作业。 主 LSF 管理员通常无权启动 LSF 守护程序。 通常,只有 root 用户有权启动 LSF 守护程序。
有效值
现有用户帐户
示例
LSF_ADMINS="lsfadmin user1 user2"
缺省值
无。 这是必需变量。
lsf_cluster_name
语法
LSF_CLUSTER_NAME="集群名称"
描述
必需。 LSF 集群的名称。
示例
LSF_CLUSTER_NAME="cluster1"
有效值
缺省值
无。 这是必需变量。
lsf_dynamic_host_wait_time
语法
LSF_DYNAMIC_HOST_WAIT_TIME=秒
描述
服务器 主机 LIM 在启动后在调用 管理 主机 LIM 以动态添加 服务器 主机之前等待的时间 (以秒为单位)。
仅当在此文件中设置了 ENABLE_DYNAMIC_HOSTS="Y" 时,此参数才会生效。 如果 服务器 主机 LIM 在等待时接收到 管理 主机 LIM 声明,那么它不会调用 管理 主机 LIM 来添加自身。
为集群中的每 1000 台主机指定最多 60 秒的值,最长为 15 分钟。 选择较小的值将导致新主机的响应时间更快,而牺牲 管理 主机 LIM上增加的负载。
示例
LSF_DYNAMIC_HOST_WAIT_TIME=60
主机将在启动后等待 60 秒以接收来自 管理 主机 LIM 的应答。 如果在 60 秒内未收到应答,那么将向 管理 主机 LIM 发送请求以将其添加到集群。
缺省值
服务器 主机 LIM 永远等待
lsf文件
语法
LSF_ENTITLEMENT_FILE=路径
描述
LSF 权利文件的完整路径。 LSF 使用权利来根据产品的版本确定要启用或禁用的功能集。 LSF Standard Edition 的权利文件为 lsf_std_entitlement.dat。 对于 LSF Express Edition,文件为 lsf_exp_entitlement.dat。 对于 LSF Advanced Edition,文件为 lsf_adv_entitlement.dat。 权利文件安装为 <LSF_TOP>/conf/lsf.entitlement。
您必须下载您正在运行的产品版本的权利文件,并将 LSF_ENTITLEMENT_FILE 参数设置为下载的权利文件的完整路径。
安装并运行 LSF 后,运行 lsid 命令以查看已启用哪个版本的 LSF 。
示例
LSF_ENTITLEMENT_FILE=/usr/share/lsf_distrib/lsf.entitlement
缺省值
无。 这是必需变量。
lsf_master_list
语法
LSF_MASTER_LIST="主机名 [ 主机名... ]"
描述
首次安装时必需。 要在集群中作为 管理 或 管理 候选者的 LSF 服务器 主机的列表。
必须至少指定一个有效的 服务器 主机才能启动集群。 列出的第一个主机是 LSF 管理 主机。
在升级期间,请指定现有值。
有效值
LSF 服务器 主机名
示例
LSF_MASTER_LIST="hosta hostb hostc hostd"
缺省值
无-必需变量
LSF_静音安装
语法
LSF_QUIET_INST="Y" | "N"
描述
启用静默安装。
如果要隐藏 LSF 安装消息,请将值设置为 Y 。
示例
LSF_QUIET_INST="Y"
缺省值
N (安装程序在安装期间显示消息)
lsf_silent_install_tarlist
语法
LSF_SILENT_INSTALL_TARLIST="ALL" | "Package_Name ..."
描述
包含要安装的所有 LSF 软件包名称的字符串。 此名称列表仅适用于静默安装方式。 支持关键字 all, ALL和 All,它们可以在 LSF_TARDIR 参数指定的目录中安装所有软件包。
示例
LSF_SILENT_INSTALL_TARLIST="ALL" | "lsf<version>_linux2.6-glibc2.3-x86_64.tar.Z"
缺省值
无
LSF_延迟
语法
LSF_TARDIR="/路径"
描述
包含 LSF distribution TAR 文件的目录的完整路径。
示例
LSF_TARDIR="/usr/share/lsf_distrib"
缺省值
当前工作目录的父目录。 例如,如果 lsfinstall 命令正在 usr/share/lsf_distrib/lsf_lsfinstall 目录下运行,那么 LSF_TARDIR 参数的缺省值为 usr/share/lsf_distrib。
LSF_TOP
语法
LSF_TOP="/路径"
描述
必需。 顶级 LSF 安装目录的完整路径。
有效值
LSF_TOP 目录的路径必须共享,并且可供集群中的所有主机访问。 它不能是根目录 (/)。 包含 LSF_TOP 目录的文件系统必须有足够的磁盘空间用于所有主机类型 (每个主机类型大约 300 MB)。
示例
LSF_TOP="/usr/share/lsf"
缺省值
无。 这是必需变量。
路径备份 _ DIR
语法
PATCH_BACKUP_DIR="/路径"
描述
补丁备份目录的完整路径。 当您首次安装新集群时,将使用此参数,对于所有其他情况,将忽略此参数。
包含补丁备份目录的文件系统必须具有足够的磁盘空间来备份文件,如果您希望能够安装和回滚一个增强包以及多个修订,那么每个二进制类型大约为 400 MB。 它不能是根目录 (/)。
如果该目录存在,那么集群管理员 (lsfadmin) 必须可写该目录。
如果需要在安装后更改目录,请编辑 LSF_TOP/patch.conf 目录中的 PATCH_BACKUP_DIR 参数,并手动将保存的备份文件移至新目录。
示例
PATCH_BACKUP_DIR="/usr/share/lsf/patch/backup"
缺省值
LSF_TOP/patch/backup
补丁历史目录
语法
PATCH_HISTORY_DIR="/路径"
描述
补丁历史记录目录的完整路径。 当您首次安装新集群时,将使用此参数,对于所有其他情况,将忽略此参数。
它不能是根目录 (/)。 如果该目录存在,那么 lsfadmin必须可写该目录。
该位置将保存为 LSF_TOP/patch.conf 目录中的 PATCH_HISTORY_DIR 参数。 安装后请勿更改目录。
示例
PATCH_BACKUP_DIR="/usr/share/lsf/patch"
缺省值
LSF_TOP/patch
静默安装
语法
SILENT_INSTALL="Y" | "N"
描述
启用静默安装 (将此参数设置为 Y) 意味着您要执行静默安装并接受许可协议。
缺省值
N