Compartilhamento de artefatos DataStage com todos os contêineres IBM Cloud Object Storage
O armazenamento de objeto do IBM Cloud é usado para armazenar artefatos IBM® DataStage® como arquivos sequenciais, conjuntos de dados e conjuntos de arquivos. Configure o IBM Cloud Object Storage para armazenar esses artefatos. Após o contêiner IBM Cloud Object Storage ser configurado, ele pode ser acessado em diferentes contêineres de tempo de execução e usado por diferentes estágios nos fluxos de dados.
Na nuvem, as tarefas do DataStage podem ser executadas em contêineres de runtime diferentes. Se os artefatos do DataStage como arquivos sequenciais, conjuntos de dados e conjuntos de arquivos forem gravados em um disco local desses contêineres, eles não estarão acessíveis para outras tarefas que possam estar em outros contêineres. Portanto, esses artefatos são gravados no IBM Cloud Object Storage, que pode ser acessado de qualquer um dos contêineres.
- Arquivos sequenciais (texto/binário)
- Conjuntos de dados (binário)
- Conjuntos de arquivos (texto)
- Conjuntos de arquivos de consulta (texto)
- Arquivos de esquema (texto)
- Arquivos de mapa de intervalo (binário)
DataStage/datasets
DataStage/files
DataStage/schemaConjuntos de dados, conjuntos de arquivos e conjuntos de arquivos de consulta
Os conjuntos de dados, conjuntos de arquivos e conjuntos de arquivos de Consulta são criados pelo IBM DataStage quando você está trabalhando com um fluxo de dados Conjuntos de dados, conjuntos de arquivos e conjuntos de arquivos de consulta são armazenados como arquivos descritores. Esses arquivos contêm informações sobre onde os dados reais estão localizados, assim como os nomes de arquivos de dados e seus locais.
Todos os arquivos do descritor são gravados no diretório DataStage/datasets/. Todos os arquivos de dados que pertencem a esses conjuntos de dados, conjuntos de arquivos ou conjuntos de arquivos de consulta ficam armazenados no diretório DataStage/data/. Os nomes e os caminhos dos arquivos do descritor não podem ser prefixados com cos://. O prefixo não é suportado.
arquivos sequenciais
Todos os arquivos sequenciais que são criados usando o estágio Arquivo sequencial são armazenados e lidos no diretório DataStage/files/. Por exemplo, DataStage/files/sequential_file.txt. Conjuntos de arquivos e conjuntos de arquivos de consulta são alguns dos arquivos criados pela etapa Arquivo sequencial. Se o caminho para o arquivo sequencial começar com “cos://”, o arquivo será criado no diretório de nível superior no depósito Cloud Object Storage.
Arquivos de esquema
Os arquivos de esquema são lidos e gravados por fluxos do IBM DataStage do diretório DataStage/schemas/ , a menos que o caminho de arquivo para os arquivos inicie com “cos://”. Se o caminho começar com “cos://”, os arquivos estarão no diretório de nível superior no depósito Cloud Object Storage. Por exemplo, você especificaria schemafile.txt para acessar aquele arquivo específico sob o diretório DataStage/schemas/.
Os arquivos de esquema são criados manualmente e carregados e lidos dos estágios. Na seção de opções no editor de estágio, é possível especificar o local de um arquivo de esquema que você deseja usar em um estágio.
- Row Generator
- Sequential File
- Conj. de Arquivos
- Importação de coluna
- Exportação de coluna
- Transformador
Padrão de Arquivo
Os padrões de arquivo que começam com um nome de prefixo comum são suportados. Todos os outros padrões de arquivo não são suportados.