Ejecutar Kafka Connect en IBM z/OS

Desde IBM® MQ 9.4.3, el componente Connector Pack contiene un marco de trabajo compatible con Kafka Connect para ejecutar los conectores IBM MQ en z/OS® UNIX System Services. Este marco sólo debe utilizarse para ejecutar los conectores IBM MQ , no debe utilizarse para ejecutar otros conectores.

• Prepare el entorno para ejecutar Kafka Connect.
  1. Instale el componente Connector Pack siguiendo las instrucciones del directorio de programas IBM MQ Advanced for z/OS . Para más información, consulte Instalación de IBM MQ Advanced for z/OS.
     El componente Connector Pack contiene un directorio USS_ROOT/kafka-connect , con los siguientes subdirectorios:

     • kafka-connect: el marco Kafka Connect
     • sink: el conector del fregadero IBM MQ
     • source: el conector de fuente IBM MQ
     • xml-convertorel conversor XML

     donde USS_ROOT es la raíz de la instalación IBM MQ z/OS UNIX System Services .

  2. Kafka Connect se inicia mediante un script bash. Si aún no tiene instalado bash en su sistema z/OS , obténgalo de https://www.ibm.com/products/open-enterprise-foundation-zos.
  3. Decida si desea ejecutar Kafka Connect en modo autónomo o distribuido.
     Para más información y para ayudarte a decidir qué modo utilizar, consulta la explicación de los trabajadores de Kafka Connect.
  4. Cree un directorio de trabajo que contenga la configuración personalizada para Kafka Connect y los conectores.
     Para el resto de estas instrucciones, este directorio se denomina WORK_DIR.
  5. Copie connect-standalone.properties, para el modo autónomo, o connect-distributed.properties, para el modo distribuido, de USS_ROOT/kafka-connect/kafka-connect/config a WORK_DIR.
     En el archivo de propiedades copiado, cambie la propiedad bootstrap.servers para que apunte a sus intermediarios de Kafka . Ajuste otras propiedades según convenga a su instalación.
  6. Configure STEPLIB para que apunte a su IBM para la instalación de z/OS . Esto debe hacerse en el JCL que se utiliza para iniciar Kafka Connect o en la sesión z/OS UNIX System Services .
     Por ejemplo:

     export STEPLIB=thlqual.SCSQAUTH:thlqual.SCSQANLE:$STEPLIB

     sustituyendo thlqual por el calificador de conjunto de datos de alto nivel que eligió al instalar IBM MQ.
  7. Establezca la ruta de la biblioteca nativa para que apunte a su IBM para la instalación de z/OS .
     Esto debe hacerse en el JCL que se utiliza para iniciar Kafka Connect o en la sesión z/OS UNIX System Services . Por ejemplo:

     export LIBPATH=USS_DIR/java/lib

  8. Establece la ruta de la clase para los conectores.
     Para más información, consulte Uso de los conectores.
• Configura los conectores.
  Es necesario configurar los conectores antes de utilizarlos.
  1. Si utiliza el conector del sumidero, copie mq-sink.properties, para el modo autónomo, o mq-sink.json, para el modo distribuido, de USS_ROOT/kafka-connect/sink a WORK_DIR.
  2. Si utiliza el conector de origen, copie mq-source.properties, para el modo autónomo, o mq-source.json, para el modo distribuido, de USS_ROOT/kafka-connect/sink a WORK_DIR.
  3. Configura la copia de las propiedades o el archivo JSON siguiendo las instrucciones de https://github.com/ibm-messaging/kafka-connect-mq-source/blob/main/README.md, para el conector de origen, o https://github.com/ibm-messaging/kafka-connect-mq-sink/blob/main/README.md para el conector de destino.
     Asegúrese de que mq.connection.mode está configurado como bindings.
• Inicia Kafka Connect en modo autónomo.
  1. Navegue hasta el directorio USS_ROOT/kafka-connect/kafka-connect .
  2. Ejecute el script connect-standalone.sh, pasando el connect-standalone.properties editado, y mq-sink.properties o mq-source.properties de WORK_DIR.
     Por ejemplo:

     cd USS_ROOT/kafka-connect/kafka-connect
     ./bin/connect-standalone.sh WORK_DIR/connect-standalone.properties WORK_DIR/mq-source.properties

• Inicie Kafka Connect en modo distribuido.
  1. Navegue hasta el directorio USS_ROOT/kafka-connect/kafka-connect .
  2. Ejecute el script connect-distributed.sh , pasando el connect-distributed.properties editado desde WORK_DIR. Al contrario que en el modo autónomo, las propiedades de IBM MQ no se pasan al inicio.
     Por ejemplo:

     cd USS_ROOT/kafka-connect/kafka-connect
     ./bin/connect-distributed.sh WORK_DIR/connect-distributed.properties

  3. Inicie un conector individual utilizando la API REST de Kafka Connect ( https://kafka.apache.org/39/documentation/#connect_rest ).
     Por ejemplo, para iniciar un conector de origen:

     curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d 
     @WORK_DIR/mq-source.json