资源连接器增强功能

以下增强功能会影响 LSF 资源连接器。

LSF 资源连接器审计

在此发行版中, LSF 会将资源连接器 VM 事件以及使用情况信息记录到名为 rc.audit.x 的新文件中 (每行一个日志条目,采用 JSON 格式)。 rc.audit.x 日志文件的目的是提供证据,以支持审计和使用情况记帐作为第三方云提供者日志的补充数据。 该信息可由最终用户作为文本读取,并受到散列保护以确保安全性。

已在 lsf.conf 配置文件中向 LSF 添加新参数:
  • LSF_ RC_AUDIT_LOG: 如果设置为 Y ,那么允许资源连接器审计员生成日志文件。
  • RC_MAX_AUDIT_LOG_SIZE: 一个整数,用于确定 rc.audit.x 日志文件的最大大小 (以 MB 为单位)。
  • RC_MAX_AUDIT_LOG_KEEP_TIME: 一个整数,用于指定保留资源连接器审计日志的时间量 (以月为单位)。

资源连接器模板优先级划分

在 10.1 修订包 6 中,资源连接器对模板划分优先级。

现在,在资源连接器模板中提供了设置优先级的功能。 LSF 将首先使用更高优先级的模板 (例如,应该为成本较低的模板分配更高优先级)。

LSF 按模板名称对候选模板主机进行排序。 但是,管理员可能希望按优先级对其进行排序,因此 LSF 倾向于将一个模板用于另一个模板。 已添加 "优先级" 属性 added.:

{
      "Name": "T2",
      "MaxNumber": "2",
      "Attributes":
      {
        "type": ["String", "X86_64"],
        "ncpus": ["Numeric", "1"],
        "mem": ["Numeric", "512"],
        "template": ["String", "T2"],
        "ostkhost": ["Boolean", "1"]
      },
      "Image": "LSF10.1.0.3_OSTK_SLAVE_VM",
      "Flavor": "t2.nano",
      "UserData": "template=T2",
      "Priority": "10"
    }
注: 以上示例适用于 openStack中的模板。 其他模板可能不包含所有属性。

"优先级" 的缺省值为 "0" ,这表示最低优先级。 如果模板主机具有相同的优先级,那么 LSF 会按模板名称对它们进行排序。

支持 AWS 的专用实例

向资源连接器模板添加了一个新参数,以支持 AWS的专用实例。

如果您的 AWS 帐户中没有放置组,那么必须至少在引号内插入名称为空白的放置组,因为这是指定租户所必需的。 如果您有放置组,请在引号内指定放置组名称。 例如,"placementGroupName": "","placementGroupName": "hostgroupA",

租赁的值可以是 "default" , "dedicated" 和 "host"。 但是, LSF 当前仅支持 "default" 和 "dedicated"。

以上内容可以同时适用于 AWS的随需应变实例和点实例。

模板文件的完整示例如下所示:

{
    "templates": [
         {
            "templateId": "aws-vm-0",
            "maxNumber": 5,
            "attributes": {
                "type": ["String", "X86_64"],
                "ncores": ["Numeric", "1"],
                "ncpus": ["Numeric", "1"],
                "mem": ["Numeric", "512"],
                "awshost": ["Boolean", "1"],
                "zone": ["String", "us_west_2d"]               
            },
            "imageId": "ami-0db70175",
            "subnetId": "subnet-cc0248ba",
            "vmType": "c4.xlarge",
            "keyName": "martin",
            "securityGroupIds": ["sg-b35182ca"],
            "instanceTags": "Name=aws-vm-0",
            "ebsOptimized" : false,
            "placementGroupName": "",
            "tenancy": "dedicated",
            "userData": "zone=us_west_2d"        }
}

LSF资源连接HTTP 代理服务器功能

此功能对于有严格安全要求的客户很有用。 它允许使用 HTTP进行终端访问。
注: 对于此发行版,仅对 AWS启用此功能。

该功能为提供程序引入了 "scriptOption" 参数。 例如:

{
    "providers":[
        {
            "name": "aws1",
            "type": "awsProv",
            "confPath": "resource_connector/aws",
            "scriptPath": "resource_connector/aws",
           "scriptOption": "-Dhttps.proxyHost=10.115.206.146 -Dhttps.proxyPort=8888"
        }
    ]
}

scriptOption 的值可以是任何字符串,并且不会由 LSF 验证。

LSF 在启动脚本时设置环境变量 SCRIPT_OPTIONS 。 对于 AWS 插件,将通过如下语法将信息传递到 Java:

java $SCRIPT_OPTIONS -Daws-home-dir=$homeDir -jar $homeDir/lib/AwsTool.jar --getAvailableMachines $homeDir $inJson

创建 EBS-优化的实例

在此发行版中引入了创建启用了 EBS优化的实例,以在云存储器中归档更好的性能。

已将 EBS-Optimized 属性添加到资源连接器模板。 创建实例时, AWS 提供程序插件会将信息传递到 AWS 。 只有高端实例类型支持此属性。 资源连接器提供程序插件将不检查实例类型是否受支持。

资源连接器模板中的 "ebsOptimized" 字段是一个布尔值(true 或 false)。 缺省值为 false。 指定支持ebs_优化的相应 vmType (请参阅 AWS 文档)。

{
    "templates": [
        {
            "templateId": "Template-VM-1",
            "maxNumber": 4,
            "attributes": {
                "type": ["String", "X86_64"],
                "ncores": ["Numeric", "1"],
                "ncpus": ["Numeric", "1"],
                "mem": ["Numeric", "1024"],
                "awshost1": ["Boolean", "1"]
            },
            "imageId": "ami-40a8cb20",
           "vmType": "m4.large",
            "subnetId": "subnet-cc0248ba",
            "keyName": "martin",
            "securityGroupIds": ["sg-b35182ca"],
            "instanceTags" : "group=project1",
            "ebsOptimized" : true,
            "userData": "zone=us_west_2a"
        }
    ]
}

资源连接器策略增强功能

对资源连接器策略的管理进行了增强:
  • 在 lsb.params 文件中引入了集群范围的参数 RC_MAX_REQUESTS ,以控制可以需要或请求的最大新实例数。

    在先前会话中添加已分配的可用主机之后, LSF 将生成总需求。 将按如下所示创建内部策略条目:

    {
          "Name": "__RC_MAX_REQUESTS",
          "Consumer": 
           {
            "rcAccount": ["all"],
            "templateName": ["all"],
            "provider": ["all"] 
           },      
          "StepValue": "$val:0"   
        }
    
  • 参数 LSB_RC_UPDATE_INTERVAL 控制 LSF 启动需求评估的频率。 结合新参数,发挥集群宽 "步" 来控制集群生长速度。