Allgemeiner S3 Anschluss ( DataStage )

Verwenden Sie den Generic S3 Connector, um eine Verbindung zu Objektspeichern herzustellen, die S3 API unterstützen und verschiedene Lese- und Schreibfunktionen ausführen.

Voraussetzung

Stellen Sie die Verbindung her. Anweisungen finden Sie unter Herstellen einer Verbindung mit einer Datenquelle in DataStage® und unter Generische S3 Verbindung.

Konfigurieren des generischen S3 Konnektors als Quelle

Konfigurieren Sie den Lesevorgang.

Tabelle 1. Daten aus Generic S3 lesen
Lesemodus Vorgehensweise
Einzelne Datei lesen Geben Sie den Namen des Bereichs an, der die Datei enthält, und geben Sie dann den Namen der zu lesenden Datei an.
Binärdaten lesen Geben Sie den Namen des Bereichs an, der die Datei enthält, und geben Sie dann den Namen der zu lesenden Datei an.
Binärdaten aus mehreren Dateien mit Platzhalterzeichen lesen Geben Sie ein Platzhalterzeichen im Dateinamen für Binärdaten an. Zum Beispiel: Dateiname : test.*.gz

Wenn Sie diese Option verwenden, können Sie mehrere Binärdateien nacheinander lesen, wobei jede Datei als Datensatz gelesen wird.

Wenn Sie die Option Eine Datei in eine Zeile einlesen wählen, müssen Sie auf der Registerkarte Ausgabe der Quellstufe zwei Spaltennamen angeben:

  • Die erste Spalte muss ein String-Datentyp sein. Diese Spalte ist für den Dateinamen vorgesehen.
  • Die zweite Spalte muss ein binärer Datentyp sein. Diese Spalte ist für die Datei. Der Präzisionswert der Binärspalte muss größer oder gleich der maximalen Dateigröße sein.
Mehrere Dateien lesen - regulärer Ausdruck Geben Sie den Bucket-Namen an, der die Dateien enthält. Sie können einen Java-Regex-Ausdruck für den Dateinamen verwenden.

Beispiele:

  • ^csv_write_datatypes_h.[0-9]$
  • csv_write_datatypes_h.[^12]
Mehrere Dateien mit Platzhaltern lesen Geben Sie ein Sternchen (*) an, um mit null oder mehr Zeichen übereinzustimmen. Geben Sie zum Beispiel *.txt an, um alle Dateien mit der Erweiterung.txt zu finden.

Geben Sie ein Fragezeichen (?) an, um ein Zeichen zu finden.

Beispiele:

  • csv_write_datatypes.*
  • ?_abc_test*