Ausführen von Kafka Connect auf IBM z/OS

Die Komponente Connector Pack von IBM® MQ 9.4.3 enthält ein unterstütztes Kafka Connect-Framework für den Betrieb der IBM MQ -Konnektoren in z/OS® UNIX System Services. Dieses Framework sollte nur für den Betrieb der IBM MQ -Konnektoren verwendet werden, nicht für den Betrieb anderer Konnektoren.

• Bereiten Sie die Umgebung für die Ausführung von Kafka Connect vor.
  1. Installieren Sie die Komponente Connector Pack, indem Sie den Anweisungen im Programmverzeichnis IBM MQ Advanced for z/OS folgen. Weitere Informationen finden Sie unter Installation von IBM MQ Advanced for z/OS.
     Die Komponente Connector Pack enthält ein Verzeichnis USS_ROOT/kafka-connect mit den folgenden Unterverzeichnissen:

     • kafka-connect: der Rahmen Kafka Connect
     • sink: der IBM MQ Senkenanschluss
     • source: der IBM MQ Quellenanschluss
     • xml-convertorder XML-Konverter

     wobei USS_ROOT das Stammverzeichnis der Installation IBM MQ z/OS UNIX System Services ist.

  2. Kafka Connect wird mit Hilfe eines Bash-Skripts gestartet. Wenn Sie die Bash noch nicht auf Ihrem System z/OS installiert haben, erhalten Sie sie von https://www.ibm.com/products/open-enterprise-foundation-zos.
  3. Entscheiden Sie, ob Sie Kafka Connect im Einzelplatz- oder im verteilten Modus ausführen möchten.
     Weitere Informationen und Hilfe bei der Entscheidung, welcher Modus zu verwenden ist, finden Sie in der Erklärung von Kafka Connect workers.
  4. Erstellen Sie ein Arbeitsverzeichnis, das die angepasste Konfiguration für Kafka Connect und die Konnektoren enthält.
     Im weiteren Verlauf dieser Anleitung wird dieses Verzeichnis als WORK_DIR bezeichnet.
  5. Kopieren Sie entweder connect-standalone.properties, für den Einzelplatzmodus, oder connect-distributed.properties, für den verteilten Modus, von USS_ROOT/kafka-connect/kafka-connect/config nach WORK_DIR.
     Ändern Sie in der kopierten Eigenschaftsdatei die Eigenschaft bootstrap.servers so, dass sie auf Ihre Kafka Makler verweist. Passen Sie andere Eigenschaften entsprechend Ihrer Installation an.
  6. Stellen Sie die STEPLIB so ein, dass sie auf Ihre IBM für die z/OS Installation zeigt. Dies muss entweder in der JCL, die Sie zum Starten von Kafka Connect verwenden, oder in Ihrer z/OS UNIX System Services Sitzung geschehen.
     For example:

     export STEPLIB=thlqual.SCSQAUTH:thlqual.SCSQANLE:$STEPLIB

     ersetzen Sie thlqual durch den High-Level-Datensatzqualifizierer, den Sie bei der Installation von IBM MQ gewählt haben.
  7. Legen Sie den Pfad der systemeigenen Bibliothek so fest, dass er auf Ihre IBM für die Installation von z/OS zeigt.
     Dies muss entweder in der JCL, die Sie zum Starten von Kafka Connect verwenden, oder in Ihrer z/OS UNIX System Services Sitzung geschehen. For example:

     export LIBPATH=USS_DIR/java/lib

  8. Legen Sie den Klassenpfad für die Konnektoren fest.
     Weitere Informationen finden Sie unter Verwendung der Steckverbinder.
• Konfigurieren Sie die Anschlüsse.
  Die Anschlüsse müssen vor ihrer Verwendung konfiguriert werden.
  1. Wenn Sie den Sink-Connector verwenden, kopieren Sie entweder mq-sink.properties, für den Stand-Alone-Modus, oder mq-sink.json, für den verteilten Modus, von USS_ROOT/kafka-connect/sink nach WORK_DIR.
  2. Wenn Sie den Quellkonnektor verwenden, kopieren Sie entweder mq-source.properties, für den Einzelplatzmodus, oder mq-source.json, für den verteilten Modus, von USS_ROOT/kafka-connect/sink nach WORK_DIR.
  3. Konfigurieren Sie die Kopie der Eigenschaften oder der JSON-Datei anhand der Anweisungen unter https://github.com/ibm-messaging/kafka-connect-mq-source/blob/main/README.md für den Quell-Connector oder https://github.com/ibm-messaging/kafka-connect-mq-sink/blob/main/README.md für den Sink-Connector.
     Stellen Sie sicher, dass mq.connection.mode auf Bindungen eingestellt ist.
• Starten Sie Kafka Connect im Standalone-Modus.
  1. Wechseln Sie in das Verzeichnis USS_ROOT/kafka-connect/kafka-connect .
  2. Führen Sie das Skript connect-standalone.sh aus und übergeben Sie die bearbeitete connect-standalone.properties und mq-sink.properties oder mq-source.properties von WORK_DIR.
     For example:

     cd USS_ROOT/kafka-connect/kafka-connect
     ./bin/connect-standalone.sh WORK_DIR/connect-standalone.properties WORK_DIR/mq-source.properties

• Starten Sie Kafka Connect im verteilten Modus.
  1. Wechseln Sie in das Verzeichnis USS_ROOT/kafka-connect/kafka-connect .
  2. Führen Sie das Skript connect-distributed.sh aus und übergeben Sie dabei das bearbeitete connect-distributed.properties von WORK_DIR. Anders als im Standalone-Modus werden die Eigenschaften von IBM MQ beim Start nicht mitgegeben.
     For example:

     cd USS_ROOT/kafka-connect/kafka-connect
     ./bin/connect-distributed.sh WORK_DIR/connect-distributed.properties

  3. Starten Sie einen individuellen Connector über die Kafka Connect REST API ( https://kafka.apache.org/39/documentation/#connect_rest ).
     Zum Beispiel, um einen Quellanschluss zu starten:

     curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d 
     @WORK_DIR/mq-source.json