数据收集
以下新功能会影响 IBM Spectrum LSF 数据收集。
使用 Elasticsearch 增强能源记帐
此增强功能引入了 lsfbeat 工具,该工具调用 ipmitool 以收集每个主机的能源数据并将数据发送到 IBM Spectrum LSF Explorer (LSF Explorer)。 bjobs 和 bhosts 命令从 LSF Explorer 获取能量数据并显示该数据。 要使用此功能,必须在 LSF 集群中部署 LSF Explorer 。 要启用 lsfbeat 能源服务,请在 lsf.conf 文件中配置 LSF_ENABLE_BEAT_SERVICE="energy" ,然后运行 lsadmin limrestart all 命令以启动 lsfbeat 服务。 要使用 bhosts 和 bjobs 命令查询能源数据,请在 lsf.conf 文件中配置 LSF_QUERY_ES_FUNCTIONS="energy" 和 LSF_QUERY_ES_SERVERS="ip:port" 。
数据来源工具
LSF 现在具有数据出处工具,用于跟踪 LSF 作业生成的文件。
您可以使用 LSF 数据出处工具来浏览数据,以查找数据的来源和生成方式。 此外,在使用相同的作业输入和步骤时,您可以使用数据出处信息来重现数据结果。
使用 bsub 命令提交作业时,通过将 LSB_DATA_PROVENANCE=Y 定义为环境变量 (bsub -e LSB_DATA_PROVENANCE=Y) 或使用 esub.dprov 应用程序 (bsub -a 'dprov(file_path)') 来启用数据出处,并使用 tag.sh 执行后脚本来标记输出数据文件 (-Ep 'tag.sh') 的数据出处属性。 您还可以使用 showhist.py 脚本来生成图片以显示数据文件的关系。
数据出处要求使用 IBM Spectrum Scale (GPFS) 作为文件系统,以支持文件的扩展属性规范,而 Graphviz 是开放式源代码图形可视化软件,用于从 showhist.py 脚本生成图片。