Apache Kafka 连接

要使用 Apache Kafka访问数据,请为其创建连接资产。

Apache Kafka 是分布式事件流平台。 连接到 Apache Kafka 实时处理服务器,以在主题中写入和读取事件流。

支持的版本

Apache Kafka 版本。 3.8

创建与 Apache Kafka 的连接

要创建连接资产,您需要以下连接详细信息:

Kafka 服务器主机名: Kafka 服务器的主机名和端口号。 请使用以下格式: hostname:port-number。 要连接到 Kafka 集群,请使用逗号分隔值: hostname1:port-number1,hostname2:port-number2,hostname3:port-number3。 如果您连接到集群,那么该连接将使用所有服务器,而不考虑为引导程序指定哪些服务器。 由于这些服务器用于初始连接以发现可动态更改的完整集群成员资格,因此此列表不需要包含完整的服务器集。 但是,如果 Kafka 集群具有三个或更少的主机,请将所有主机包括在此列表中,以防止数据丢失。

安全连接

选择 Kafka 服务器上设置的网络身份验证协议。

公共连接

要将连接用于普通连接,请使用以下其中一种身份验证协议:

默认为 " "。

SASL OAUTHBEARER
选择 OAuth 2.0
服务器 URL : 令牌端点 URL。 示例: https://example.com/oauth2/default/v1/token
客户端 ID :OAuth 客户端 ID。
客户端秘密 : OAuth 客户端秘密
范围在调用 OAuth 服务器时引用的可选范围。
附加属性附加 OAuth 配置选项。 输入 key=value 对。 该多行属性的值必须符合 Java Properties 类的要求。
信任存储证书 :PEM 格式的受信任证书。 仅支持 X.509 证书。

SASL_Plain
用户主体名称: Kafka 服务器或集群中的已认证用户。
密码: 用户主体名称的密码。

SASL_SSL
用户主体名称: Kafka 服务器或集群中的已认证用户。
密码: 用户主体名称的密码。
信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。

SCRAM-SHA-256 或 SCRAM-SHA-512
用户主体名称: Kafka 服务器或集群中的已认证用户。
密码: 用户主体名称的密码。
信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。

SSL
密钥:PEM 格式的专用密钥。 密钥必须使用 PKCS #8 语法。
密钥证书链: PEM 格式的专用密钥的证书链。 仅支持 X.509 证书。
密钥密码: 如果密钥已加密,那么此值是必需的。
信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。

StreamSets

要在 StreamSets 流量中使用连接,请使用以下认证协议之一:

默认为 " "。

SASL_Plain
用户主体名称: Kafka 服务器或集群中的已认证用户。
密码: 用户主体名称的密码。

SASL_SSL
用户主体名称: Kafka 服务器或集群中的已认证用户。
密码: 用户主体名称的密码。
信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。
密钥:PEM 格式的专用密钥。 密钥必须使用 PKCS #8 语法。
密钥证书链: PEM 格式的专用密钥的证书链。 仅支持 X.509 证书。
密钥密码: 如果密钥已加密,那么此值是必需的。

SSL
信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。
密钥:PEM 格式的专用密钥。 密钥必须使用 PKCS #8 语法。
密钥证书链: PEM 格式的专用密钥的证书链。 仅支持 X.509 证书。
密钥密码: 如果密钥已加密,那么此值是必需的。

消息格式

模式注册表是第三方软件,用于管理消息并将模式映射到主题,以便生产者知道哪些主题正在接受哪些类型 (模式) 的消息,而使用者知道如何读取和解析主题中的消息。 如果选择 将模式注册表用于消息格式,那么可以选择这些其他详细信息以安全地连接到模式注册表服务。

先决条件

使用 Confluent (支持 Confluent 版本 6.x 和 7.x )或 IBM Event Streams 为 Kafka 服务器设置模式注册表。

模式注册中心 URL : URL 连接到模式注册中心服务。

认证

选择模式注册表服务的认证方法。 None 是缺省值。 以下是其他选择及其属性:


使用 Kafka 服务器 SASL 用户凭证
如果为 Kafka 服务器的安全连接输入了 SASL_PlainSASL_SSL 属性,则可以选择此选项。 SSL 安全设置的用户名和密码将用于向模式注册表服务进行认证。

用户凭证
模式注册服务的用户名和密码。

安全连接

选择模式注册表服务的安全网络认证协议。 None 是缺省值。 以下是其他选择及其属性:


使用 Kafka 服务器 SSL 用户凭据
如果为 Kafka 服务器的安全连接输入了 SSL 属性,则可以选择此选项。 Kafka 服务器连接的证书配置将用于模式注册服务的安全连接。

SSL
信任库证书: PEM 格式的信任库证书。 仅支持 X.509 证书。
密钥:PEM 格式的专用密钥。 密钥必须使用 PKCS #8 语法。
密钥证书链: PEM 格式的专用密钥的证书链。 仅支持 X.509 证书。
密钥密码: 如果密钥已加密,那么此值是必需的。

模式注册表类型

选择模式注册表类型:

  • Confluent
  • IBM Event Streams(兼容融合性的 API)

Apache Kafka 设置

了解更多信息