パイプライン並列処理

サンプル・ジョブを 3 つ以上のプロセッサーがあるシステムで実行した場合、 データを読み取るステージは 1 つのプロセッサーで動作を開始し、読み取ったデータでパイプラインへの入力を始めます。

Transformer ステージは、パイプラインにデータが入力されるとすぐに別のプロセッサーで動作を開始してデータを処理し、別のパイプラインへの入力を始めます。変換処理が終わったデータをターゲット・データベースに書き込むステージは、データが使用可能になるとすぐに動作を開始します。このように、3 つのステージはすべて同時に動作します。順次実行している場合には、各ステージの 1 つのインスタンスしか存在しません。パラレルで実行している場合には、 パーティションと同じ数のインスタンスが存在します (次のセクションを参照してください)。

順次実行されるシンプルなジョブと、同じジョブをパイプライン並列処理を使用して
実行した場合の概念図を表示します