Conexão do Apache Kafka
Para acessar seus dados com o Apache Kafka, crie um ativo de conexão para ele.
O Apache Kafka é uma plataforma de streaming de eventos distribuída. Conecte-se a um servidor de processamento em tempo real do Apache Kafka para gravar e ler fluxos de eventos de e para tópicos.
Versões suportadas
Apache Kafka versão 3.8.
Crie uma conexão com o Apache Kafka
Para criar o ativo de conexão, estes detalhes da conexão são necessários:
Kafka server hostname: Nome de Hostname e porta para o servidor Kafka . Use este formato: hostname:port-number. Para se conectar a um cluster Kafka , separe os valores com vírgulas: hostname1:port-number1,hostname2:port-number2,hostname3:port-number3. Se você se conectar a um cluster, a conexão utiliza todos os servidores independentemente de quais servidores são especificados para bootstrapping. Como esses servidores são usados para a conexão inicial para descobrir a adesão total do cluster, o que pode mudar dinamicamente, esta lista não precisa conter o conjunto completo de servidores. Mas se o cluster Kafka tiver três hosts ou menos, inclua todos os hosts nesta lista para evitar a perda de dados.
Conexão segura
Selecione o protocolo de autenticação de rede que está configurado no servidor Kafka.
Conectividade comum
Para usar a conexão para conectividade comum, use um dos seguintes protocolos de autenticação:
Nenhum é o padrão.
- SASL OAUTHBEARER
- Selecione OAuth 2.0
- Servidor URL : Ponto de extremidade de token URL. Exemplo:
https://example.com/oauth2/default/v1/token. - ID do cliente : O ID do cliente do serviço de gerenciamento de dispositivos ( OAuth ).
- Segredo do cliente: o segredo do cliente OAuth
- Escopo Escopo opcional a ser referenciado na chamada ao servidor OAuth.
- Propriedades adicionais : Opções adicionais de configuração do ` OAuth `. Digite como
key=valuepairs. O valor dessa propriedade de várias linhas deve estar em conformidade com os requisitos da classe Java Properties. - Certificados do Truststore : certificados confiáveis no formato PEM. Apenas os certificados X.509 são suportados.
- SASL_Plain
- Nome principal do usuário: O usuário autenticado no servidor ou cluster Kafka .
- Senha: Senha para o nome principal do usuário.
- SASL_SSL
- Nome principal do usuário: O usuário autenticado no servidor ou cluster Kafka .
- Senha: Senha para o nome principal do usuário.
- Certificados do Truststore : certificados do Truststore no formato PEM. Apenas os certificados X.509 são suportados.
- SCRAM-SHA-256 ou SCRAM-SHA-512
- Nome principal do usuário: O usuário autenticado no servidor ou cluster Kafka .
- Senha: Senha para o nome principal do usuário.
- Certificados do Truststore : certificados do Truststore no formato PEM. Apenas os certificados X.509 são suportados.
- SSL
- Chave : Chave privada no formato PEM. A chave deve usar a sintaxe PKCS #8 .
- Cadeia de certificados da chave : Cadeia de certificados da chave privada no formato PEM. Apenas os certificados X.509 são suportados.
- Senha de chave: Este valor é necessário se a chave for criptografada.
- Certificados do Truststore : certificados do Truststore no formato PEM. Apenas os certificados X.509 são suportados.
StreamSets
Para usar a conexão em fluxos StreamSets, use um dos seguintes protocolos de autenticação:
Nenhum é o padrão.
- SASL_Plain
- Nome principal do usuário: O usuário autenticado no servidor ou cluster Kafka .
- Senha: Senha para o nome principal do usuário.
- SASL_SSL
- Nome principal do usuário: O usuário autenticado no servidor ou cluster Kafka .
- Senha: Senha para o nome principal do usuário.
- Certificados do Truststore : certificados do Truststore no formato PEM. Apenas os certificados X.509 são suportados.
- Chave : Chave privada no formato PEM. A chave deve usar a sintaxe PKCS #8 .
- Cadeia de certificados da chave : Cadeia de certificados da chave privada no formato PEM. Apenas os certificados X.509 são suportados.
- Senha de chave: Este valor é necessário se a chave for criptografada.
- SSL
- Certificados do Truststore : certificados do Truststore no formato PEM. Apenas os certificados X.509 são suportados.
- Chave : Chave privada no formato PEM. A chave deve usar a sintaxe PKCS #8 .
- Cadeia de certificados da chave : Cadeia de certificados da chave privada no formato PEM. Apenas os certificados X.509 são suportados.
- Senha de chave: Este valor é necessário se a chave for criptografada.
Formato da mensagem
Um registro de esquemas é um software de terceiros que gerencia as mensagens e mapeia os esquemas para tópicos para que os produtores saibam quais tópicos estão aceitando quais tipos (schemas) de mensagens e consumidores sabem ler e analisar mensagens em um tópico. Se você selecionar Usar Registro de Esquema para formato de mensagem, você poderá selecionar esses detalhes adicionais para conectar-se de forma segura ao serviço de registro de esquema.
Pré-requisito
Configure o registro de esquemas para o seu servidor Kafka usando Confluent (são compatíveis as versões Confluent 6.x e 7.x ) ou IBM Event Streams.
Schema Registry URL : URL para o serviço de registro de esquema.
Autenticação
Selecione o método de autenticação para o serviço de registro de esquemas. Nenhum é o padrão. Estas são as outras seleções e suas propriedades:
- Use as credenciais de usuário do SASL do servidor Kafka
- Você poderá escolher essa seleção se tiver inserido propriedades para SASL_Plain ou SASL_SSL para a conexão segura com o servidor Kafka. O nome de usuário e a senha para as configurações de segurança do SASL serão usados para autenticação no serviço de registro de esquema.
- Credenciais do usuário
- Nome de usuário e senha do serviço de registro de esquemas.
Conexão segura
Selecione o protocolo de autenticação de rede segura para o serviço de registro de esquema. Nenhum é o padrão. Estas são as outras seleções e suas propriedades:
- Use as credenciais de usuário do servidor Kafka SSL
- Você pode selecionar esta opção se tiver definido propriedades para o servidor de SSL, para a conexão segura com o servidor Kafka. A configuração de certificados da conexão com o servidor Kafka será utilizada para a conexão segura com o serviço de registro de esquemas.
- SSL
- Certificados do Truststore : certificados do Truststore no formato PEM. Apenas os certificados X.509 são suportados.
- Chave : Chave privada no formato PEM. A chave deve usar a sintaxe PKCS #8 .
- Cadeia de certificados da chave : Cadeia de certificados da chave privada no formato PEM. Apenas os certificados X.509 são suportados.
- Senha de chave: Este valor é necessário se a chave for criptografada.
Tipo de registro de esquema
Selecione o tipo de registro do esquema:
- Confluent
- IBM Event Streams (API compatível com o Confluent)