资源连接器增强功能
以下增强功能会影响 LSF 资源连接器。
LSF 资源连接器审计
在此发行版中, LSF 会将资源连接器 VM 事件以及使用情况信息记录到名为 rc.audit.x 的新文件中 (每行一个日志条目,采用 JSON 格式)。 rc.audit.x 日志文件的目的是提供证据,以支持审计和使用情况记帐作为第三方云提供者日志的补充数据。 该信息可由最终用户作为文本读取,并受到散列保护以确保安全性。
- LSF_ RC_AUDIT_LOG: 如果设置为 Y ,那么允许资源连接器审计员生成日志文件。
- RC_MAX_AUDIT_LOG_SIZE: 一个整数,用于确定 rc.audit.x 日志文件的最大大小 (以 MB 为单位)。
- RC_MAX_AUDIT_LOG_KEEP_TIME: 一个整数,用于指定保留资源连接器审计日志的时间量 (以月为单位)。
资源连接器模板优先级划分
在 10.1 修订包 6 中,资源连接器对模板划分优先级。
现在,在资源连接器模板中提供了设置优先级的功能。 LSF 将首先使用更高优先级的模板 (例如,应该为成本较低的模板分配更高优先级)。
LSF 按模板名称对候选模板主机进行排序。 但是,管理员可能希望按优先级对其进行排序,因此 LSF 倾向于将一个模板用于另一个模板。 已添加 "优先级" 属性 added.:
{
"Name": "T2",
"MaxNumber": "2",
"Attributes":
{
"type": ["String", "X86_64"],
"ncpus": ["Numeric", "1"],
"mem": ["Numeric", "512"],
"template": ["String", "T2"],
"ostkhost": ["Boolean", "1"]
},
"Image": "LSF10.1.0.3_OSTK_SLAVE_VM",
"Flavor": "t2.nano",
"UserData": "template=T2",
"Priority": "10"
}
"优先级" 的缺省值为 "0" ,这表示最低优先级。 如果模板主机具有相同的优先级,那么 LSF 会按模板名称对它们进行排序。
支持 AWS 的专用实例
向资源连接器模板添加了一个新参数,以支持 AWS的专用实例。
如果您的 AWS 帐户中没有放置组,那么必须至少在引号内插入名称为空白的放置组,因为这是指定租户所必需的。 如果您有放置组,请在引号内指定放置组名称。 例如,"placementGroupName": "", 或 "placementGroupName": "hostgroupA",。
租赁的值可以是 "default" , "dedicated" 和 "host"。 但是, LSF 当前仅支持 "default" 和 "dedicated"。
以上内容可以同时适用于 AWS的随需应变实例和点实例。
模板文件的完整示例如下所示:
{
"templates": [
{
"templateId": "aws-vm-0",
"maxNumber": 5,
"attributes": {
"type": ["String", "X86_64"],
"ncores": ["Numeric", "1"],
"ncpus": ["Numeric", "1"],
"mem": ["Numeric", "512"],
"awshost": ["Boolean", "1"],
"zone": ["String", "us_west_2d"]
},
"imageId": "ami-0db70175",
"subnetId": "subnet-cc0248ba",
"vmType": "c4.xlarge",
"keyName": "martin",
"securityGroupIds": ["sg-b35182ca"],
"instanceTags": "Name=aws-vm-0",
"ebsOptimized" : false,
"placementGroupName": "",
"tenancy": "dedicated",
"userData": "zone=us_west_2d" }
}
LSF资源连接HTTP 代理服务器功能
该功能为提供程序引入了 "scriptOption" 参数。 例如:
{
"providers":[
{
"name": "aws1",
"type": "awsProv",
"confPath": "resource_connector/aws",
"scriptPath": "resource_connector/aws",
"scriptOption": "-Dhttps.proxyHost=10.115.206.146 -Dhttps.proxyPort=8888"
}
]
}
scriptOption 的值可以是任何字符串,并且不会由 LSF 验证。
LSF 在启动脚本时设置环境变量 SCRIPT_OPTIONS 。 对于 AWS 插件,将通过如下语法将信息传递到 Java:
java $SCRIPT_OPTIONS -Daws-home-dir=$homeDir -jar $homeDir/lib/AwsTool.jar --getAvailableMachines $homeDir $inJson
创建 EBS-优化的实例
在此发行版中引入了创建启用了 EBS优化的实例,以在云存储器中归档更好的性能。
已将 EBS-Optimized 属性添加到资源连接器模板。 创建实例时, AWS 提供程序插件会将信息传递到 AWS 。 只有高端实例类型支持此属性。 资源连接器提供程序插件将不检查实例类型是否受支持。
资源连接器模板中的 "ebsOptimized" 字段是一个布尔值(true 或 false)。 缺省值为 false。 指定支持ebs_优化的相应 vmType (请参阅 AWS 文档)。
{
"templates": [
{
"templateId": "Template-VM-1",
"maxNumber": 4,
"attributes": {
"type": ["String", "X86_64"],
"ncores": ["Numeric", "1"],
"ncpus": ["Numeric", "1"],
"mem": ["Numeric", "1024"],
"awshost1": ["Boolean", "1"]
},
"imageId": "ami-40a8cb20",
"vmType": "m4.large",
"subnetId": "subnet-cc0248ba",
"keyName": "martin",
"securityGroupIds": ["sg-b35182ca"],
"instanceTags" : "group=project1",
"ebsOptimized" : true,
"userData": "zone=us_west_2a"
}
]
}
资源连接器策略增强功能
- 在 lsb.params 文件中引入了集群范围的参数 RC_MAX_REQUESTS ,以控制可以需要或请求的最大新实例数。
在先前会话中添加已分配的可用主机之后, LSF 将生成总需求。 将按如下所示创建内部策略条目:
{ "Name": "__RC_MAX_REQUESTS", "Consumer": { "rcAccount": ["all"], "templateName": ["all"], "provider": ["all"] }, "StepValue": "$val:0" } - 参数 LSB_RC_UPDATE_INTERVAL 控制 LSF 启动需求评估的频率。 结合新参数,发挥集群宽 "步" 来控制集群生长速度。