Apache Kafka 协议配置选项

IBM QRadar 使用 Apache Kafka 协议从使用使用者 API 的 Kafka 集群中的主题读取事件数据流。 主题是 Kafka 中存储和发布消息的类别或订阅源名称。 Apache Kafka 协议是出站或活动协议，可以使用定制日志源类型作为网关日志源。

Apache Kafka 协议支持几乎任何规模的主题。 您可以配置多个 QRadar 收集主机 (EP/EC) 以从单个主题进行收集; 例如，所有防火墙。 有关更多信息，请参阅 Kafka 文档 (http://kafka.apache.org/documentation/)。

下表描述了 Apache Kafka 协议的特定于协议的参数:
表 1. Apache Kafka 协议参数
参数 描述
日志源标识

输入日志源的唯一名称。

日志源标识 可以是任何有效值，并且不需要引用特定服务器。 它也可以是与 日志源名称相同的值。 如果您有多个已配置的 Apache Kafka 日志源，请确保为每个日志源提供唯一名称。
引导程序服务器列表 引导程序服务器的 <hostname/ip>:<port> 。 可以用逗号分隔的列表指定多个服务器，例如本例： hostname1:9092,1.1.1.1:9092, [ffff:fffff:fffff:fffff:fffff:fffff:fffff]:9092。
使用者组

用于标识此日志源所属的使用者组的唯一字符串或标签。

发布到 Kafka 主题的每条记录都将传递到每个预订使用者组中的一个使用者实例。 Kafka 使用这些标签在组中的所有使用者实例上对记录进行负载均衡。
主题预订方法 用于预订 Kafka 主题的方法。 使用 列出主题 选项来指定特定主题列表。 使用 正则表达式模式匹配 选项来指定要与可用主题匹配的正则表达式。
主题列表

要预订的主题名称的列表。 该列表必须是逗号分隔的; 例如: Topic1,Topic2,Topic3

仅当为 主题预订方法 选项选择了 列出主题 时，才会显示此选项。
主题过滤器模式

与要预订的主题匹配的正则表达式。

仅当为 主题预订方法 选项选择了 正则表达式模式匹配 时，才会显示此选项。
使用 SASL 认证

此选项显示 SASL 认证配置选项。

在未进行客户机认证的情况下使用时，必须将服务器证书的副本放在 /opt/qradar/conf/trusted_certificates/ 目录中。
SASL 机制 选择与 Kafka 配置兼容的 SASL 机制:
  • PLAIN
  • SCRAM-SHA-256
  • SCRAM-SHA-512
SASL 用户名 用于 SASL 认证的用户名。
SASL 密码 用于 SASL 认证的密码。
使用 SSL 如果 Kafka 配置支持或需要 SSL (TLS) 加密，请选择此选项以启用 SSL (TLS) 加密。
使用客户机认证 显示客户机认证配置选项。

仅当启用 使用 SSL 参数并使用 SSL (TLS) 进行认证和数据传输时，才能启用此选项。
TLS 协议 该协议允许使用的 TLS 版本。 客户端必须使用与服务器所选版本相同的版本发送请求。 TLSv1.3 由 QRadar 7.5.0 UP5 及更高版本支持。
密钥库/信任库类型
密钥库和信任库类型的归档文件格式。 以下选项可用于归档文件格式:
  • JKS
  • PKCS12
信任库文件名 信任库文件的名称。 必须将信任库放在 /opt/qradar/conf/trusted_certificates/kafka/中。

该文件包含用户名和密码。
密钥库文件名 密钥库文件的名称。 密钥库必须放置在 /opt/qradar/conf/trusted_certificates/kafka/中。

该文件包含用户名和密码。
用作网关日志源 此选项使收集的事件能够通过 QRadar 流量分析引擎并自动检测相应的日志源。
日志源标识模式

定义正在处理的事件的定制日志源标识 (如果选中了 用作网关日志源 复选框)。

键/值对用于定义定制日志源标识。 键是 "标识格式字符串" ，它是生成的源或源值。 该值是用于评估当前有效内容的关联正则表达式模式。 此值还支持可用于进一步定制密钥的捕获组。

通过在新行上输入每个模式来定义多个键/值对。 将按多个模式的列示顺序对其进行求值。 找到匹配项时，将显示定制日志源标识。

以下示例显示了多个键/值对函数。
模式
VPC=\sREJECT\sFAILURE
$1=\s(REJECT)\sOK
VPC-$1-$2=\s(ACCEPT)\s(OK)
事件
{LogStreamName: LogStreamTest,Timestamp: 0,Message: ACCEPT OK,IngestionTime: 0,EventId: 0}
生成的定制日志源标识
VPC-接受-正常
显示高级选项 显示 Kafka 配置的可选高级选项。 无论是否显示高级选项值，这些值都有效。
使用有效内容抽取

启用此参数以抽取有效内容并将其发送到事件管道。 如果指定的有效内容位于 Kafka 日志记录中的某个位置，那么此参数会标识该有效内容。

可以通过在新行上输入每个模式来定义多个正则表达式。 使用多个有效内容抽取模式时，将按顺序对这些模式进行求值，直到找到匹配项并返回抽取的有效内容为止。

此有效内容抽取在任何字符替换之前进行。
有效内容抽取正则表达式 一个正则表达式，用于标识 Kafka 日志记录中的指定有效内容，以便可以将其发送到 QRadar。 此表达式必须包含捕获组，并使用第一个捕获组作为新有效内容。
使用预测解析

如果启用此参数，那么算法将抽取日志源标识模式，并从事件中抽取有效内容，而不针对每个事件运行正则表达式，这将提高解析速度。

在极少数情况下，算法可以进行不正确的预测。 仅对期望接收高事件率且需要更快解析的日志源类型启用预测解析。
字符序列替换 将事件有效内容中的特定文字字符序列替换为实际字符。 提供了以下一个或多个选项:
  • 换行符 (CR LF) 字符 (\r \n)
  • 换行符 (\n)
  • 回车符 (\r)
  • 制表符 (\t)
  • 空格字符 (\s)
  • 取消对 JSON 数据的转义
    提示: 如果希望在任何有效内容抽取后整个有效内容都是 JSON 未转义的，请选择此选项。 当您取消对 JSON 消息进行转义时，将从消息中除去任何阻止解析的字符。

    如果要抽取嵌入在 JSON 对象中的 JSON 消息，请启用此选项。
Kafka 使用者属性覆盖

可用于向 Kafka 使用者提供特定配置属性的 key=value 对的列表。 该列表每行使用一对。

例如， key=value 对 session.timeout.ms=10000 配置会话超时 (以毫秒为单位)。

有关可用 key=value 对的列表，请参阅 Kafka 消费者配置文档 ( https://ibm.biz/kafkaconsumerconfigs )。

在此字段中输入的任何参数都将覆盖在日志源的配置阶段中设置的任何先前参数。 这些参数包括但不限于以下示例:
  • fetch.max.bytes
  • group.id
  • ssl.enabled.protocols
不能在此字段中输入任何具有私钥值的密码类型属性。 这些属性包括但不限于以下示例:
  • ssl.key.password
  • ssl.key.password
  • ssl.keystore.password
  • ssl.truststore.password
  • sasl.jaas.config
  • ssl.truststore.certificates
  • ssl.keystore.certificate.chain
  • ssl.keystore.key

使用 专用密钥密码， 信任库密码， 密钥库密码， 专用密钥密码或 SASL 密码 字段来输入密码类型的 Kafka 使用者属性。
EPS 调速

每秒 QRadar 摄入的最大事件数。

如果数据源超过 EPS 调速，那么数据收集将延迟。 仍会收集数据，然后在数据源停止超过 EPS 调速时采集数据。