Estágios do DataStage

Funções de estágio

Um estágio geralmente tem pelo menos uma entrada de dados ou uma saída de dados. No entanto, alguns estágios podem aceitar mais de uma entrada de dados, e produzir saída para mais de um estágio. A tabela a seguir lista os estágios disponíveis e dá detalhes sobre suas funções:

Tabela 1. Estágios

Estágio	Ícone	Função
Aggregator		Classifica os dados recebidos em grupos, calcula os totais e outras funções de sumarização para cada grupo, e os passa para outro estágio na tarefa.
Bloom Filter		Consulta as chaves recebidas com relação a valores anteriores.
Change Apply		Aplica operações de mudança codificadas em um conjunto de dados before baseado em um conjunto de dados changed. Os conjuntos de dados before e after vêm do estágio Change Capture.
Change Capture		Compara dois conjuntos de dados e faz um registro das diferenças.
Checksum		Gera um valor de soma de verificação por meio das colunas especificadas em uma linha e inclui a soma de verificação na linha.
Column Export		Exporta dados de um número de colunas de diferentes tipos de dados para uma única coluna de tipos de dados ustring, stringou binary.
Column Generator		Inclui colunas nos dados recebidos e gera dados simulados para essas colunas para cada linha de dados processada.
Column Import		Importa dados de uma única coluna e a emite como saída para uma ou mais colunas.
Combine Records		Combina registros em que os valores particulares de chave/coluna são idênticos em vetores de sub-registros.
Compare		Executa uma comparação de registros coluna por coluna em dois conjuntos de dados de entrada classificados previamente.
Compress		Utiliza o utilitário UNIX compress ou GZIP para comprimir um conjunto de dados. Ele converte um conjunto de dados de uma sequência de registros em um fluxo de dados binários brutos.
Copy		Copia um único conjunto de dados de entrada em vários conjuntos de dados de saída.
Decode		Decodifica um conjunto de dados usando um comando de decodificação UNIX que você fornece.
Difference		Executa uma comparação de registro por registro de dois conjuntos de dados de entrada, que são versões diferentes do mesmo conjunto de dados.
Distributed Transaction		Executa transações através de várias origens de dados
Encode		Codificar um conjunto de dados usando um comando de codificação UNIX que você fornece.
Expand		Utiliza o utilitário uncompress ou GZIP do UNIX para expandir um conjunto de dados. Ele converte um conjunto de dados compactado anteriormente de volta em uma sequência de registros de um fluxo de dados binários brutos.
External Filter		Permite especificar um comando do UNIX que atua como filtro nos dados que estão sendo processados.
Filter		Transfere, não modificados, os registros do conjunto de dados de entrada que atendem aos requisitos especificados e filtra todos os outros registros.
Funnel		Copia vários conjuntos de dados de entrada em um único conjunto de dados de saída.
Generic		Incorpora um Operador Orquestrate ® em seu trabalho.
Head		Seleciona os primeiros N registros de cada partição de um conjunto de dados de entrada e copia os registros selecionados em um conjunto de dados de saída.
Join		Realiza operações de junção na entrada de dois ou mais conjuntos de dados para o estágio e, em seguida, produz o conjunto de dados resultante.
Lookup		Utilizado para executar operações de consulta em um conjunto de dados lido na memória por meio de qualquer outro estágio Parallel Job que possa produzir dados ou fornecido por um dos estágios do banco de dados que suportam links de saída de referência. Ele também pode realizar uma consulta em uma tabela de consulta que está contida em um estágio Lookup File Set.
Make Subrecords		Combina vectores especificados em um conjunto de dados de entrada em um vetor de sub-registros cujas colunas possuem os nomes e tipos de dados dos vetores originais.
Make Vector		Combina colunas especificadas de um registro de dados de entrada em um vetor de colunas.
Merge		Combina um conjunto de dados principal classificado com um ou mais conjuntos de dados de atualização classificados.
Modify		Altera o esquema de registro de seu conjunto de dados de entrada.
Peek		Imprime valores da coluna de registro no log da tarefa ou em um link de saída separado, à medida que o estágio copia registros de seu conjunto de dados de entrada para um ou mais conjuntos de dados de saída.
Pivot Enterprise		O estágio Pivot Enterprise é um estágio de processamento que transforma dados horizontal e verticalmente. A tabela dinâmica horizontal mapeia um conjunto de colunas em uma linha de entrada para uma única coluna em várias linhas de saída. A tabela dinâmica vertical mapeia um conjunto de linhas nos dados de entrada para colunas de saída simples ou múltiplas.
Promote Subrecords		Promove as colunas de um sub-registro de entrada para colunas de nível superior.
Remove Duplicates		Considera um único conjunto de dados classificado como entrada, remove todos os registros duplicados e grava os resultados em um conjunto de dados de saída.
Row Generator		Produz um conjunto de dados simulados que se ajusta aos metadados especificados.
Sample		Faz a amostragem de um conjunto de dados de entrada.
Slowly Changing Dimension (SCD)		Funciona dentro do contexto de um banco de dados de esquemas de estrelas para armazenar e gerenciar dados atuais e históricos ao longo do tempo.
Sort		Classifica colunas de entrada.
Split Subrecord		Separa um campo de sub-registro de entrada em um conjunto de colunas de vetores de nível superior.
Split Vector		Promove os elementos de um vetor de comprimento fixo para um conjunto de colunas de nível superior com nomes similares.
Stored Procedure		Executa procedimentos armazenados para seus fluxos.
Surrogate Key Generator stage		Gera colunas de chave substitutas e mantém a origem da chave.
Switch		Adota um único conjunto de dados como entrada e designa cada registro de entrada para um conjunto de dados de saída com base no valor de um campo de seletor.
Tail		Seleciona os últimos N registros de cada partição de um conjunto de dados de entrada e copia os registros selecionados para um conjunto de dados de saída.
Transformer		Manipula dados extraídos, realiza quaisquer conversões que são necessárias, e transmite dados para outro estágio ativo ou um estágio que grava dados em um banco de dados ou arquivo de destino.
Wave Generator		Monitora um fluxo de dados e insere marcadores de end-of-wave onde necessário.
Web Service		Acessa operações de serviço da web em um fluxo ou tarefa do DataStage .
Write Range Map		Grava dados em um mapa de alcance. O estágio pode possuir um único link de entrada.

Assista a esta série de vídeos para ver como usar os estágios mais comuns.