Conexión de Apache Kafka

Para acceder a los datos con Apache Kafka, cree un activo de conexión para el mismo.

Apache Kafka es una plataforma de transmisión de sucesos distribuida. Conéctese a un servidor de proceso en tiempo real de Apache Kafka para escribir y leer secuencias de sucesos de y en temas.

Versiones que reciben soporte

Apache Kafka versión 3.8.

Crear una conexión con Apache Kafka

Para crear el recurso de conexión, necesitas estos datos de conexión:

Kafka Nombre de host del servidor : nombre de host y número de puerto del Kafka servidor. Utilice este formato: hostname:port-number. Para conectarse a un Kafka clúster, separe los valores con comas: hostname1:port-number1,hostname2:port-number2,hostname3:port-number3. Si se conecta a un clúster, la conexión utiliza todos los servidores, independientemente de cuáles se hayan especificado para el arranque. Dado que estos servidores se utilizan para la conexión inicial con el fin de descubrir la pertenencia completa al clúster, que puede cambiar dinámicamente, esta lista no necesita contener el conjunto completo de servidores. Pero si el Kafka clúster tiene tres hosts o menos, incluya todos los hosts en esta lista para evitar la pérdida de datos.

Para credenciales y certificados, puede utilizar secretos si hay un almacén configurado para la plataforma y el servicio admite almacenes. Para obtener más información, consulte Uso de secretos de almacenes en conexiones.

Conexión segura

Seleccione el protocolo de autenticación de red que está configurado en el Kafka servidor.

Kerberos

Requisitos previos para Kerberos la autenticación

Si planea utilizar Kerberos la autenticación, complete los siguientes requisitos:

Nombre principal del usuario : El principal del usuario que está configurado para acceder a un Kafka servidor que está configurado para Kerberos. El Kerberos administrador crea entidades de usuario en el Kerberos servidor. El nombre principal de usuario tiene tres componentes: Primario, Instancia y Reino. El componente Instancia es opcional. Un nombre principal de usuario válido es Kafka-user@example.com.

Keytab : La ruta completa al archivo keytab para el usuario especificado. Debe tener permiso para leer los archivos keytab.

Importante: El archivo keytab debe colocarse en el almacenamiento y montarse en los pods del motor PX.

También puede introducir el contenido del keytab en Base64-encoded formato.

Certificados de almacén de confianza : Certificados de almacén de confianza en formato PEM. Sólo se da soporte a los certificados X.509.

Seleccione Usar configuración de almacén de claves heredada para ejecutar trabajos que se configuraron para la versión tradicional de DataStage. Estos campos son para trabajos DataStage que requieren que los archivos estén presentes en el almacenamiento, en lugar de en formato PEM.

Importante:

Si introduce valores para la configuración del almacén de claves heredado, no introduzca ningún valor para los certificados del almacén de confianza.

  • Ubicación del almacén de confianza : Ubicación del archivo del almacén de confianza, por ejemplo, /opt/kafka/certs/client.truststore.jks.
  • Contraseña del almacén de confianza : Contraseña para el archivo del almacén de confianza.

Conectividad común

Para utilizar la conexión para conectividad común, utilice uno de los siguientes protocolos de autenticación:

Ninguno es el valor predeterminado.

SASL OAUTHBEARER
Seleccionar OAuth 2.0
Servidor URL : Punto final del token URL. Ejemplo: https://example.com/oauth2/default/v1/token.
ID de cliente : El ID de cliente de OAuth.
Secreto de cliente: El secreto del cliente de OAuth
Ámbito Ámbito opcional al que hacer referencia en la llamada al servidor OAuth.
Propiedades adicionales : Opciones de configuración adicionales de OAuth. Introduzca key=value pares. El valor de esta propiedad multilínea debe cumplir los requisitos de la clase Java Properties.
Certificados de Truststore : certificados de confianza en formato PEM. Sólo se da soporte a los certificados X.509.

Seleccione Usar configuración de almacén de claves heredada para ejecutar trabajos que se configuraron para la versión tradicional de DataStage. Estos campos son para trabajos DataStage que requieren que los archivos estén presentes en el almacenamiento, en lugar de en formato PEM.

Importante:

Si introduce valores para la configuración del almacén de claves heredado, no introduzca ningún valor para los certificados del almacén de confianza.


SASL_Plain
Nombre principal del usuario : El usuario autenticado en el Kafka servidor o clúster.
Contraseña : Contraseña para el nombre principal del usuario.

SASL_SSL
Nombre principal del usuario : El usuario autenticado en el Kafka servidor o clúster.
Contraseña : Contraseña para el nombre principal del usuario.
Ubicación del almacén de confianza : Ubicación del archivo del almacén de confianza, por ejemplo, /opt/kafka/certs/client.truststore.jks.
Contraseña del almacén de confianza : Contraseña para el archivo del almacén de confianza.
Certificados de almacén de confianza : Certificados de almacén de confianza en formato PEM. Sólo se da soporte a los certificados X.509.

Seleccione Usar configuración de almacén de claves heredada para ejecutar trabajos que se configuraron para la versión tradicional de DataStage. Estos campos son para trabajos DataStage que requieren que los archivos estén presentes en el almacenamiento, en lugar de en formato PEM.

Importante:

Si introduce valores para la configuración del almacén de claves heredado, no introduzca ningún valor para los certificados del almacén de confianza.


SCRAM-SHA-256 o SCRAM-SHA-512
Nombre principal del usuario : El usuario autenticado en el Kafka servidor o clúster.
Contraseña : Contraseña para el nombre principal del usuario.
Ubicación del almacén de confianza : Ubicación del archivo del almacén de confianza, por ejemplo, /opt/kafka/certs/client.truststore.jks.
Contraseña del almacén de confianza : Contraseña para el archivo del almacén de confianza.
Certificados de almacén de confianza : Certificados de almacén de confianza en formato PEM. Sólo se da soporte a los certificados X.509.

Seleccione Usar configuración de almacén de claves heredada para ejecutar trabajos que se configuraron para la versión tradicional de DataStage. Estos campos son para trabajos DataStage que requieren que los archivos estén presentes en el almacenamiento, en lugar de en formato PEM.

Importante:

Si introduce valores para la configuración del almacén de claves heredado, no introduzca ningún valor para los certificados del almacén de confianza.


SSL
Clave : Clave privada en formato PEM. La clave debe utilizar la sintaxis PKCS #8.
Cadena de certificados clave : Cadena de certificados para la clave privada en formato PEM. Sólo se da soporte a los certificados X.509.
Contraseña de la clave : este valor es necesario si la clave está cifrada.
Ubicación del almacén de confianza : Ubicación del archivo del almacén de confianza, por ejemplo, /opt/kafka/certs/client.truststore.jks.
Contraseña del almacén de confianza : Contraseña para el archivo del almacén de confianza.
Ubicación del almacén de claves : Ubicación del archivo del almacén de claves, por ejemplo, /opt/kafka/certs/client.keystore.jks.
Contraseña del almacén de claves : Contraseña para el archivo del almacén de claves.
Certificados de almacén de confianza : Certificados de almacén de confianza en formato PEM. Sólo se da soporte a los certificados X.509.

Seleccione Usar configuración de almacén de claves heredada para ejecutar trabajos que se configuraron para la versión tradicional de DataStage. Estos campos son para trabajos DataStage que requieren que los archivos estén presentes en el almacenamiento, en lugar de en formato PEM.

Importante:

Si introduce valores para la configuración del almacén de claves heredado, no introduzca valores para los certificados del almacén de confianza, la clave o la cadena de certificados de clave.

Formato de mensaje

Un registro de esquemas es un software de terceros que gestiona los mensajes y asigna los esquemas a los temas, de modo que los productores sepan qué temas aceptan qué tipos (esquemas) de mensajes y los consumidores sepan cómo leer y analizar los mensajes de un tema. Si selecciona Usar registro de esquemas para el formato de mensaje, puede seleccionar estos detalles adicionales para conectarse de forma segura al servicio de registro de esquemas.

Prerrequisito

Configure el registro de esquemas para su servidor Kafka con Confluent (se admiten las versiones Confluent 6.x y 7.x ) o con IBM Event Streams.

Registro de URL esquemas : URL al servicio de registro de esquemas.

Autenticación

Seleccione el método de autenticación para el servicio de registro de esquemas. Ninguno es el valor predeterminado. Estas son las otras selecciones y sus propiedades:


Utilizar credenciales de usuario SASL del servidor Kafka
Puede elegir esta opción si ha introducido propiedades para SASL_Plain o SASL_SSL para la conexión segura al servidor Kafka. El nombre de usuario y la contraseña de la configuración de seguridad SASL se utilizarán para la autenticación en el servicio de registro de esquemas.

Credenciales de usuario
Nombre de usuario y contraseña para el servicio de registro de esquemas.

Conexión segura

Seleccione el protocolo de autenticación de red segura para el servicio de registro de esquemas. Ninguno es el valor predeterminado. Estas son las otras selecciones y sus propiedades:


Utilice las credenciales de usuario del servidor SSL de Kafka.
Puede seleccionar esta opción si ha introducido las propiedades de SSL para la conexión segura al servidor Kafka. La configuración de certificados de la conexión del servidor Kafka se utilizará para la conexión segura al servicio de registro de esquemas.

SSL

Certificados de almacén de confianza : Certificados de almacén de confianza en formato PEM. Sólo se da soporte a los certificados X.509.

Clave : Clave privada en formato PEM. La clave debe utilizar la sintaxis PKCS #8.

Cadena de certificados clave : Cadena de certificados para la clave privada en formato PEM. Sólo se da soporte a los certificados X.509.

Ubicación del almacén de confianza : Ubicación del archivo del almacén de confianza del registro de esquemas.

Contraseña del almacén de confianza : Contraseña para el archivo del almacén de confianza del registro de esquemas.

Ubicación del almacén de claves: Ubicación del archivo del almacén de claves del registro de esquemas, por ejemplo, /opt/kafka/certs/client.keystore.jks.

Contraseña del almacén de claves : Contraseña para el archivo de claves del registro de esquemas.

Contraseña de la clave : este valor es necesario si la clave está cifrada.

Seleccione Usar configuración de almacén de claves heredada para ejecutar trabajos que se configuraron para la versión tradicional de DataStage. Estos campos son para trabajos DataStage que requieren que los archivos estén presentes en el almacenamiento, en lugar de en formato PEM.

Importante:

Si introduce valores para la configuración del almacén de claves heredado, no introduzca valores para los certificados del almacén de confianza, la clave, la cadena de certificados de clave ni la contraseña de la clave.

Tipo de registro de esquema

Seleccione el tipo de registro de esquema:

  • Confluent
  • IBM Event Streams (API compatible con Confluent)

Cumplimiento de las Normas Federales de Procesamiento de la Información (FIPS)

Esta conexión no se puede crear en un entorno FIPS.

Configuración de Apache Kafka

Problema conocido

Más información