ルックアップと結合 (DataStage®)

IBMDataStage は、データの範囲を把握できないため、 または のどちらを使用してデータを結合するかを判断することはできません。 Join stageLookup stage どちらを使用するかを決定する方法は次のとおりです。

結合されるデータ・セットは 2 つあります。 一方は 1 次データ・セットまたは 駆動データ・セットです。「結合の左側」と呼ぶこともあります。 もう一方のデータ・セットは、参照データ・セット、または結合の右側のデータ・セットです。

あらゆるケースで、問題は参照データ・セットのサイズになります。 これらが、実行しているコンピューターの物理 RAM メモリー・サイズと比較して多くのメモリーを占有している場合、は、参照データ・セットが、 RAM に入れる必要のある他のすべてのものとともに RAM に収まらない可能性があるため、スラッシングすることがあります。 Lookup stage この結果、各ルックアップ操作がページ・エラーと I/O 操作を引き起こす可能性があり、また通常は引き起こすため、パフォーマンスが非常に低下します。

したがって、参照データ・セットが大きすぎて問題が発生する場合は、結合を使用してください。 Join は、駆動データ・セットおよび参照データ・セットを高速でソートします。 データの大きさが十分であれば、これに I/O が関わってくることがありますが、I/O はすべて高度に最適化されていてシーケンシャルです。 ソートが完了してしまえば、結合処理は超高速で進み、 ページングやその他の入出力が発生することはまずありません。