Estágio do gerador de ondas em DataStage

Use o estágio Wave Generator para quebrar grandes dados em conjuntos mais gerenciáveis. Por exemplo, use o estágio Wave Generator para quebrar dados em conjuntos antes de usar estágios como os estágios Aggregator ou Sort. Em seguida, os outros estágios não ultrapassarão os limites de memória porque os estágios não serão executados em um conjunto de dados inteiro de uma só vez.

O estágio Wave Gerator é para tarefas que são feitas para sempre estarem em funcionamento. Às vezes, há a necessidade de determinar o marcador end-of-wave ou end-of-data em cada intervalo para que alguns estágios iniciem o processamento dos dados. Por exemplo, o estágio Sort e o estágio Aggregator. O estágio Sort não pode funcionar quando os dados ainda são dados recebidos. Para lidar com isso, um marcador end-of-wave é gerado em cada intervalo. O end-of-wave indica que os dados podem ser enviados para o próximo nível. Na maioria das tarefas "sempre em tempo real", o end-of-wave é introduzido pelo estágio de origem. No entanto, seria possível usar o estágio Wave Generator em casos em que o estágio de origem não suportasse gerar ondas como o Arquivo sequencial. Neste caso, use o estágio Wave Generator.

Este estágio é útil para agregadores quando não há classificação (agregar em todo o conjunto de linhas que flui) e direcionamento XML (gravar o XML para todo o conjunto de linhas que flui). A origem com uma tarefa sempre ligada geralmente é algo como a série MQ, javaPack usando JMS, um canal nomeado ou outro recurso customizado que nunca deixa de alimentar dados.