Amazon Web Services 协议配置选项

Amazon Web Services (AWS) 协议是 IBM QRadar 的出站/活动协议，用于收集 AWS CloudWatch 日志， Amazon Kinesis 数据流和 Amazon Simple Queue Service (SQS) 消息。

要点: Amazon Web Services 协议需要 QRadar 7.3.1 或更高版本以及 IBM QRadar Log Source Management 应用程序。

您可以将 Amazon Web Services 协议与 Amazon Kinesis Data Streams， AWS CloudWatch Logs或 Amazon Simple Queue Service (SQS)配合使用。

Amazon Kinesis 数据流

下表描述了用于使用 Amazon Web Services 协议收集 Amazon Kinesis 数据流的特定于协议的参数:

表 1. Amazon Web Services Amazon Kinesis 数据流的日志源参数
参数 描述
协议配置 从 "协议配置" 列表中选择 Amazon Web Services 。
认证方法
访问密钥标识/密钥
可以从任何位置使用的标准认证。
EC2 实例 IAM 角色
如果 QRadar 受管主机正在 AWS EC2 实例中运行，那么选择此选项将使用分配给实例以进行认证的元数据中的 IAM 角色。 不需要任何密钥。 此方法仅适用于在 AWS EC2 容器中运行的受管主机。
访问密钥

为 AWS 用户帐户配置安全凭证时生成的访问密钥标识。

如果选择了 访问密钥标识/密钥 或 担当 IAM 角色，那么将显示 访问密钥 参数。
私钥

配置 AWS 用户帐户的安全凭证时生成的密钥。

如果选择了 访问密钥标识/密钥 或 假定 IAM 角色，那么将显示 密钥 参数。
承担 IAM 角色 启用此选项以使用访问密钥或 EC2 实例 IAM 角色进行认证。 然后，您可以临时承担 IAM 角色以进行访问。
假定角色 ARN 要承担的角色的完整 ARN。 它必须以 arn: 开头，并且不能包含任何前导或尾部空格或 ARN 中的空格。

如果已启用 使用 IAM 角色，那么将显示 使用角色 ARN 参数。
假定角色会话名称 要采用的角色的会话名称。 缺省值为 QRadarAWSSession。 如果不需要更改，请将其保留为缺省值。 此参数只能包含大写和小写字母数字字符，下划线或以下任何字符: =,.@-

如果已启用 使用 IAM 角色，那么将显示 使用角色会话名称 参数。
假定角色外部标识

假设角色外部标识 是在其他帐户中假设角色所需的可选标识。

如果角色所属的帐户管理员为您提供外部标识，请在 假定角色外部标识 参数中插入该值。

此值可以是字符串，口令， GUID 或帐号。 有关更多信息，请参阅 AWS 文档 使用外部标识进行第三方访问。
区域 切换与要从中收集日志的 Amazon Web Service 相关联的每个区域。
AWS 服务 从 AWS 服务 列表中，选择 Kinesis 数据流。
Kinesis 数据流

从中使用数据的 Kinesis 数据流。
启用 Kinesis 高级选项 启用以下可选高级配置值。 仅当选择了此选项时，才会使用高级选项值; 否则，将使用缺省值。
流中的初始位置
此选项控制要在新配置的日志源上拉取哪些数据。 选择 最新 以拉取可用的最新数据。 选择 删除水平线 以拉取可用的最旧数据。
Kinesis 工作程序线程计数
要用于 Kinesis 数据流处理的工作程序线程数。 每个工作程序线程每秒大约可以处理 10000-20000 个事件，具体取决于记录大小和系统负载。 如果日志源无法处理流中的新数据，那么可以将此处的线程数增加到最多 16 个。 允许的范围为 1-16。 缺省值为 2。
检查点时间间隔
对数据序号进行检查点的时间间隔 (以秒为单位)。 来自 Kinesis 数据流中分片的每条记录都有一个序号。 如果处理失败或服务重新启动，那么选中您的位置将允许此分片在同一位置恢复处理。 更频繁的时间间隔可减少重复数据，但会增加 Amazon Dynamo DB 的使用。 允许的范围为 1-3600 秒。 缺省值为 10 秒。
Kinesis 应用程序
保留此选项为空可让此日志源使用来自 Kinesis 数据流中所有可用分片的数据。 要让多个事件处理器上的多个日志源在不丢失或不重复的情况下扩展日志消耗，可在这些日志源中使用通用的 Kinesis 应用程序（例如：ProdKinesisConsumers ）。
分区
选择此选项以通过指定分区名称从 Kinesis 数据流中的特定分区收集数据。
抽取原始事件

仅转发添加到 Kinesis 数据流的原始事件。

Kinesis 日志会将它们接收到的事件与额外的元数据合并在一起。 如果只需要发送到 AWS 的原始事件，而不需要通过 Kinesis 的其他流元数据，请选择此选项。

原始事件是从 Kinesis 日志中抽取的消息密钥的值。 以下 Kinesis 日志事件示例以突出显示的文本显示从 Kinesis 日志中抽取的原始事件:

{"owner":"123456789012","subscriptionFilters":["allEvents"],
"logEvents":[{"id":"35093963143971327215510178578576502306458824699048362100",
"message":"{\"eventVersion\":\"1.05\",\"userIdentity\":{\"type\":\"AssumedRole\",
\"principalId\":\"ARO1GH58EM3ESYDW3XHP6:test_session\",\"arn\":\"arn:aws:sts::123456789012:assumed-role\/CVDevABRoleToBeAssumed\/test_visibility_session\",
\"accountId\":\"123456789012\",\"accessKeyId\":\"ASIAXXXXXXXXXXXXXXXX\",\"sessionContext\":{\"sessionIssuer\":{\"type\":\"Role\",\"principalId\":\"AROAXXXXXXXXXXXXXXXXX\",
\"arn\":\"arn:aws:iam::123456789012:role\/CVDevABRoleToBeAssumed\",\"accountId\":\"123456789012\",
\"userName\":\"CVDevABRoleToBeAssumed\"},\"webIdFederationData\":{},\"attributes\":{\"mfaAuthenticated\":\"false\",
\"creationDate\":\"2019-11-13T17:01:54Z\"}}},\"eventTime\":\"2019-11-13T17:43:18Z\",\"eventSource\":\"cloudtrail.amazonaws.com\",
\"eventName\":\"DescribeTrails\",\"awsRegion\":\"ap-northeast-1\",\"sourceIPAddress\":\"192.0.2.1\",\"requestParameters\":null,\"responseElements\":null,
\"requestID\":\"41e62e80-b15d-4e3f-9b7e-b309084dc092\",\"eventID\":\"904b3fda-8e48-46c0-a923-f1bb2b7a2f2a\",\"readOnly\":true,\"eventType\":\"AwsApiCall\",
\"recipientAccountId\":\"123456789012\"}","timestamp":1573667733143}],"messageType":"DATA_MESSAGE","logGroup":"CloudTrail\/DefaultLogGroup","logStream":"123456789012_CloudTrail_us-east-2_2"}
用作网关日志源

为收集的事件选择此选项以流经 QRadar 流量分析引擎，并为 QRadar 选择此选项以自动检测一个或多个日志源。

选择此选项时，可以选择使用 日志源标识模式 为正在处理的事件定义定制 日志源标识 。
日志源标识模式

如果选择了 用作网关日志源，那么可以为正在处理的事件定义定制日志源标识，并在适用时自动发现日志源。 如果未配置 日志源标识模式，那么 QRadar 会将事件作为未知的通用日志源接收。

使用 "键/值" 对来定义定制日志源标识。 键是 "标识格式字符串" ，它是生成的源或源值。 该值是用于评估当前有效内容的关联正则表达式模式。 此值还支持可用于进一步定制密钥的捕获组。

通过在新行上输入每个模式来定义多个键/值对。 将按多个模式的列示顺序对其进行求值。 找到匹配项时，将显示定制日志源标识。

以下示例显示了多个键/值对函数。
模式
VPC=\sREJECT\sFAILURE
$1=\s(REJECT)\sOK
VPC-$1-$2=\s(ACCEPT)\s(OK)
事件
{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}
生成的定制日志源标识
VPC-接受-正常
使用预测解析 如果启用此参数，那么算法将从事件中抽取日志源标识模式，而不针对每个事件运行正则表达式，这将提高解析速度。
提示: 在极少数情况下，算法可能会进行不正确的预测。 仅对期望接收高事件率且需要更快解析的日志源类型启用预测解析。
使用代理

如果 QRadar 使用代理访问 Amazon Web Service ，请选择此选项。

如果代理需要认证，请配置 代理服务器， 代理端口， 代理用户名和 代理密码 字段。

如果代理不需要认证，请配置 代理 IP 或主机名 字段。
EPS 调速

每秒 QRadar 摄入的最大事件数。

如果数据源超过 EPS 调速，那么数据收集将延迟。 仍会收集数据，然后在数据源停止超过 EPS 调速时采集数据。

缺省值 5000。
注意： 使用来自 Kinesis 数据流的日志时，会使用 DynamoDB 表来持久化每个消费者的位置。
如果所需表格不存在，则会自动创建该表格，命名规则如下：
  • 如果在 Kinesis 高级选项中未设置 Kinesis 应用程序，则自动生成的表名为QRadarApplicationXXX在 XXX 与配置的日志源实例中的内部值相关时使用。
  • 如果指定了 Kinesis 应用程序，则表名将以此为值。
此外，自动创建的表在 "配置容量模式 "下设置为 10 个读取容量单位和 10 个写入容量单位，并禁用自动缩放功能。 如果用户想更新这些值，使其符合吞吐量或成本要求，可以在 AWS 控制台的表格上使用 "编辑能力 "操作。

DynamoDB 如果 管理员愿意，可以事先创建带有所需参数的表，在这种情况下，你需要在 Kinesis 高级选项中手动指定 Kinesis 应用程序值，并创建与之匹配的表名。 AWS 如果您是手动创建表格，那么 DynamoDB:CreateTable 权限可能会在 IAM 权限列表中被省略，而这些权限是 QRadar®

AWS CloudWatch 日志

下表描述了用于使用 Amazon Web Services 协议收集 AWS CloudWatch 日志的特定于协议的参数:

表 2. Amazon Web Services AWS CloudWatch 日志的日志源参数
参数 描述
协议配置 从 "协议配置" 列表中选择 Amazon Web Services 。
认证方法
访问密钥标识/密钥
可以从任何位置使用的标准认证。
EC2 实例 IAM 角色
如果 QRadar 受管主机正在 AWS EC2 实例中运行，那么选择此选项将使用分配给实例以进行认证的元数据中的 IAM 角色。 不需要任何密钥。 此方法仅适用于在 AWS EC2 容器中运行的受管主机。
访问密钥

为 AWS 用户帐户配置安全凭证时生成的访问密钥标识。

如果选择了 访问密钥标识/密钥 或 担当 IAM 角色，那么将显示 访问密钥 参数。
私钥

配置 AWS 用户帐户的安全凭证时生成的密钥。

如果选择了 访问密钥标识/密钥 或 假定 IAM 角色，那么将显示 密钥 参数。
承担 IAM 角色 通过使用访问密钥或 EC2 实例 IAM 角色进行认证来启用此选项。 然后，您可以临时承担 IAM 角色以进行访问。
假定角色 ARN 要承担的角色的完整 ARN。 它必须以 arn: 开头，并且不能包含任何前导或尾部空格或 ARN 中的空格。

如果已启用 使用 IAM 角色，那么将显示 使用角色 ARN 参数。
假定角色会话名称 要采用的角色的会话名称。 缺省值为 QRadarAWSSession。 如果不需要更改，请将其保留为缺省值。 此参数只能包含大写和小写字母数字字符，下划线或以下任何字符: =,.@-

如果已启用 使用 IAM 角色，那么将显示 使用角色会话名称 参数。
假定角色外部标识

假设角色外部标识 是在其他帐户中假设角色所需的可选标识。

如果角色所属的帐户管理员为您提供外部标识，请在 假定角色外部标识 参数中插入该值。

此值可以是字符串，口令， GUID 或帐号。 更多信息，请参阅 AWS 文档使用外部 ID 进行第三方访问。
区域 切换与要从中收集日志的 Amazon Web Service 相关联的每个区域。
AWS 服务 从 AWS 服务 列表中，选择 CloudWatch 日志。
日志组
Amazon CloudWatch 中要从中收集日志的日志组的名称。
提示: 单个日志源一次从一个日志组收集 CloudWatch 日志。 如果要从多个日志组收集日志，请为每个日志组创建单独的日志源。
启用 CloudWatch 高级选项 启用以下可选高级配置值。 仅当选择了此选项时，才会使用高级选项值; 否则，将使用缺省值。
日志流
日志组中日志流的名称。 如果要从日志组中的所有日志流收集日志，请将此字段留空。
过滤器模式
输入用于过滤收集的事件的模式。 此模式不是正则表达式过滤器。 仅从 CloudWatch 日志收集包含指定的精确值的事件。 如果输入 ACCEPT 作为 "过滤器模式" 值，那么将仅收集包含字 ACCEPT 的事件，如以下示例中所示。
{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}
事件延迟
收集数据的延迟 (以秒计)。
其他区域
不推荐使用。 请改为使用 区域 。
抽取原始事件

仅转发已添加到 CloudWatch 日志的原始事件。

CloudWatch 日志会将它们接收到的事件与额外的元数据打包在一起。 如果要仅收集发送到 AWS 的原始事件，而不通过 CloudWatch 日志收集其他流元数据，请选择此选项。

原始事件是从 CloudWatch 日志中抽取的消息密钥的值。 以下 CloudWatch 日志事件示例以突出显示的文本显示从 CloudWatch 日志中抽取的原始事件:

{LogStreamName: 123456786_CloudTrail_us-east-2,
Timestamp: 1505744407363, Message: 
{"eventVersion":"1.05","userIdentity":{"type":
"IAMUser","principalId":"AAAABBBCCCDDDBBBCCC",
"arn":"arn:aws:iam::1234567890:user/<username>",
"accountId":"1234567890","accessKeyId":
"AAAABBBBCCCCDDDD","userName":"User-Name",
"sessionContext":{"attributes":
{"mfaAuthenticated":"false","creationDate":
"2017-09-18T13:22:10Z"}},"invokedBy":
"signin.amazonaws.com"},"eventTime":
"2017-09-18T14:10:15Z","eventSource":
"cloudtrail.amazonaws.com","eventName":
"DescribeTrails","awsRegion":"us-east-1",
"sourceIPAddress":"192.0.2.1","userAgent":
"signin.amazonaws.com","requestParameters":
{"includeShadowTrails":false,"trailNameList":
[]},"responseElements":null,"requestID":
"11b1a00-7a7a-11a1-1a11-44a4aaa1a","eventID":
"a4914e00-1111-491d-bbbb-a0dd3845b302",
"eventType":"AwsApiCall","recipientAccountId":
"1234567890"},IngestionTime: 1505744407506,
EventId: 335792223611111122479126672222222513333}
用作网关日志源

为收集的事件选择此选项以流经 QRadar 流量分析引擎，并为 QRadar 选择此选项以自动检测一个或多个日志源。

选择此选项时，可以选择使用 日志源标识模式 为正在处理的事件定义定制 日志源标识 。
日志源标识模式

如果选择了 用作网关日志源，那么可以为正在处理的事件定义定制日志源标识，并在适用时自动发现日志源。 如果未配置 日志源标识模式，那么 QRadar 会将事件作为未知的通用日志源接收。

使用 "键/值" 对来定义定制日志源标识。 键是 "标识格式字符串" ，它是生成的源或源值。 该值是用于评估当前有效内容的关联正则表达式模式。 此值还支持可用于进一步定制密钥的捕获组。

通过在新行上输入每个模式来定义多个键/值对。 将按多个模式的列示顺序对其进行求值。 找到匹配项时，将显示定制日志源标识。

以下示例显示了多个键/值对函数。
模式
VPC=\sREJECT\sFAILURE
$1=\s(REJECT)\sOK
VPC-$1-$2=\s(ACCEPT)\s(OK)
事件
{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}
生成的定制日志源标识
VPC-接受-正常
使用预测解析 如果启用此参数，那么算法将从事件中抽取日志源标识模式，而不针对每个事件运行正则表达式，这将提高解析速度。
提示: 在极少数情况下，算法可能会进行不正确的预测。 仅对期望接收高事件率且需要更快解析的日志源类型启用预测解析。
使用代理

如果 QRadar 使用代理访问 Amazon Web Service ，请选择此选项。

如果代理需要认证，请配置 代理服务器， 代理端口， 代理用户名和 代理密码 字段。

如果代理不需要认证，请配置 代理 IP 或主机名 字段。
EPS 调速

每秒 QRadar 摄入的最大事件数。

如果数据源超过 EPS 调速，那么数据收集将延迟。 仍会收集数据，然后在数据源停止超过 EPS 调速时采集数据。

缺省值 5000。

Amazon 简单队列服务 (SQS)

下表描述了用于使用 Amazon Web Services 协议收集 Amazon SQS 日志源的特定于协议的参数:

表 3. Amazon Web Services Amazon SQS 的日志源参数
参数 描述
协议配置 从 "协议配置" 列表中选择 Amazon Web Services 。
认证方法
访问密钥标识/密钥
可以从任何位置使用的标准认证。
EC2 实例 IAM 角色
如果 QRadar 受管主机正在 AWS EC2 实例中运行，那么选择此选项将使用分配给实例以进行认证的元数据中的 IAM 角色。 不需要任何密钥。 此方法仅适用于在 AWS EC2 容器中运行的受管主机。
访问密钥

为 AWS 用户帐户配置安全凭证时生成的访问密钥标识。

如果选择了 访问密钥标识/密钥 或 担当 IAM 角色，那么将显示 访问密钥 参数。
私钥

配置 AWS 用户帐户的安全凭证时生成的密钥。

如果选择了 访问密钥标识/密钥 或 假定 IAM 角色，那么将显示 密钥 参数。
承担 IAM 角色 通过使用访问密钥或 EC2 实例 IAM 角色进行认证来启用此选项。 然后，您可以临时承担 IAM 角色以进行访问。
假定角色 ARN 要承担的角色的完整 ARN。 它必须以 arn: 开头，并且不能包含任何前导或尾部空格或 ARN 中的空格。

如果已启用 使用 IAM 角色，那么将显示 使用角色 ARN 参数。
假定角色会话名称 要采用的角色的会话名称。 缺省值为 QRadarAWSSession。 如果不需要更改，请将其保留为缺省值。 此名称只能包含大写和小写字母数字字符，下划线或以下任何字符: =,.@-

如果已启用 使用 IAM 角色，那么将显示 使用角色会话名称 参数。
假定角色外部标识

假设角色外部标识 是在其他帐户中假设角色所需的可选标识。

如果角色所属的帐户管理员为您提供外部标识，请在 假定角色外部标识 参数中插入该值。

此值可以是字符串，口令， GUID 或帐号。 更多信息，请参阅 AWS 文档使用外部 ID 进行第三方访问。
区域 切换与要从中收集日志的 Amazon Web Service 相关联的每个区域。
AWS 服务 从 AWS 服务 列表中，选择 SQS 队列。
SQS 排队 URL 用于从SQS队列中提取数据URL ，以 https:// 开头，例如 https://sqs.us-east-2.amazonaws.com/1234567890123/CloudTrail_SQS_QRadar 。

更多信息，请参见 Amazon S3 Event Notifications ( https://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html )。
抽取原始事件 仅将添加到 SQS 队列的原始事件转发到 QRadar，选择此选项。
原始事件 JSON 元素

使用此选项通过 SQS 抽取原始事件时，原始事件可能位于特定 JSON 元素中。 如果是这样，那么必须指定包含原始事件的顶级 JSON 元素的名称。 此选项还会取消对该元素中包含的任何数据的转义。

例如，使用 Message 元素时，将采用该根元素并在必要时取消对嵌套 JSON 的转义:

{ "Type" : "Notification", "MessageId" : "6d11936e-2361-5dc1-a689-c590f69c73da", 
"Subject" : "Test Notification", "Message" : "{\"eventVersion\":\"2.1\", \"eventSource\":\"aws:s3\", 
\"awsRegion\":\"us-east-1\", \"eventTime\":\"2020-04-01T17:47:39.107Z\"}" }

然后，未转义的数据将显示为此抽取的原始事件:

{"eventVersion":"2.1", "eventSource":"aws:s3", "awsRegion":"us-east-1", "eventTime":"2020-04-01T17:47:39.107Z"}
用作网关日志源 如果您不想为事件定义定制日志源标识，请取消选中该复选框。

如果未选择 用作网关日志源 ，并且未配置 日志源标识模式，那么 QRadar 会将事件作为未知通用日志源接收。
日志源标识模式

如果选择了 用作网关日志源，那么可以定义定制日志源标识。 可以为正在处理的事件定义此选项，并在适用时自动发现日志源。 如果未配置 日志源标识模式，那么 QRadar 会将事件作为未知的通用日志源接收。

使用 "键/值" 对来定义定制日志源标识。 键是 "标识格式字符串" ，它是生成的源或源值。 该值是用于评估当前有效内容的关联正则表达式模式。 此值还支持可用于进一步定制密钥的捕获组。

通过在新行上输入每个模式来定义多个键/值对。 将按多个模式的列示顺序对其进行求值。 找到匹配项时，将显示定制日志源标识。

以下示例显示了多个键/值对函数。
模式
VPC=\sREJECT\sFAILURE
$1=\s(REJECT)\sOK
VPC-$1-$2=\s(ACCEPT)\s(OK)
事件
{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}
生成的定制日志源标识
VPC-接受-正常
使用预测解析 如果启用此参数，那么算法将从事件中抽取日志源标识模式，而不针对每个事件运行正则表达式，这将提高解析速度。
提示: 在极少数情况下，算法可能会进行不正确的预测。 仅对期望接收高事件率且需要更快解析的日志源类型启用预测解析。
使用代理

如果 QRadar 使用代理访问 Amazon Web Service ，请选择此选项。

如果代理需要认证，请配置 代理服务器， 代理端口， 代理用户名和 代理密码 字段。

如果代理不需要认证，请配置 代理 IP 或主机名 字段。
EPS 调速

每秒 QRadar 摄入的最大事件数。

如果数据源超过 EPS 调速，那么数据收集将延迟。 仍会收集数据，然后在数据源停止超过 EPS 调速时采集数据。

缺省值 5000。