Conector genérico S3 ( DataStage )

Use o conector Generic S3 para se conectar a armazenamentos de objetos compatíveis com a API S3 e executar várias funções de leitura e gravação.

Pré-requisito

Crie a conexão. Para obter instruções, consulte Conexão a uma fonte de dados em DataStage® e a conexão genérica S3.

Configuração do conector Generic S3 como uma fonte

Configurar o processo de leitura.

Tabela 1. Lendo dados do S3 Genérico
Modo de leitura Procedimento
Ler um arquivo único Especifique o nome do bucket que contém o arquivo e, em seguida, especifique o nome do arquivo a ser lido.
Ler dados binários Especifique o nome do bucket que contém o arquivo e, em seguida, especifique o nome do arquivo a ser lido.
Ler dados binários de vários arquivos usando curingas Especifique um caractere curinga no nome do arquivo para dados binários. Por exemplo, Nome do arquivo : test.*.gz

Se você usar essa opção, poderá ler vários arquivos binários, um após o outro, e cada arquivo será lido como um registro.

Se você selecionar Ler um arquivo para uma linha, deverá fornecer dois nomes de coluna na guia Saída do estágio de origem:

  • A primeira coluna deve ser do tipo de dados string. Essa coluna é para o nome do arquivo.
  • A segunda coluna deve ser um tipo de dados binário. Essa coluna é para o arquivo. O valor de precisão da coluna binária deve ser maior ou igual ao tamanho máximo do arquivo.
Ler vários arquivos usando a expressão regular Especifique o nome do bucket que contém os arquivos. Você pode usar uma expressão regex java para o nome do arquivo.

Exemplos:

  • ^csv_write_datatypes_h.[0-9]$
  • csv_write_datatypes_h.[^12]
Ler vários arquivos usando curingas Especifique um asterisco (*) para corresponder a zero ou mais caracteres. Por exemplo, especifique *.txt para corresponder a todos os arquivos com a extensão.txt.

Especifique um ponto de interrogação (?) para corresponder a um caractere.

Exemplos:

  • csv_write_datatypes.*
  • ?_abc_test*