データ重複排除
データ重複排除は、冗長データを除去することでストレージ必要量を削減する方法です。
概要
IBM® Storage Protectでは、 クライアント・サイドのデータ重複排除 と サーバー・サイドのデータ重複排除の 2 つのタイプのデータ重複排除を使用できます。
クライアント・サイドのデータ重複排除 は、データが IBM Storage Protect サーバーに転送される前に、バックアップおよびアーカイブの処理中に冗長データを削除するためにバックアップ/アーカイブ・クライアントで使用されるデータ重複排除技法です。 クライアント・サイドのデータ重複排除を使用すると、ローカル・エリア・ネットワーク上で送信されるデータの容量を削減できます。
サーバー・サイドのデータ重複排除は、サーバーによって行われるデータ重複排除技法です。 IBM Storage Protect 管理者は、 REGISTER NODE または UPDATE NODE サーバー・コマンドの DEDUP パラメーターで使用するデータ重複排除ロケーション (クライアントまたはサーバー) を指定できます。
機能拡張
- クライアント上の特定のファイルをデータ重複排除から除外します。
- クライアントとサーバー間のネットワーク・トラフィックを削減する、
データ重複排除キャッシュを有効にします。 このキャッシュには、以前の増分バックアップ操作でサーバーに送信された
エクステントが含まれています。 クライアントは、サーバーに照会してエクステントがあるかどうかを確認する代わりに、クライアント自体のキャッシュに照会します。
クライアント・キャッシュのサイズと場所を指定します。 サーバーとローカル・キャッシュ間に不整合が検出される場合、 ローカル・キャッシュは除去され、再取り込みされます。
注: IBM Storage Protect API を使用するアプリケーションの場合、キャッシュが IBM Storage Protect サーバーと同期していないことが原因でバックアップ障害が発生する可能性があるため、データ重複排除キャッシュを使用してはなりません。 複数の同時バックアップ・アーカイブ・クライアント・セッションを構成する場合は、それぞれのセッションに対して個別にキャッシュを構成する必要があります。 - サーバーによって保管されるデータの容量を削減するために、
クライアント・サイドのデータ重複排除と圧縮の両方を有効にします。 各エクステントは、サーバーに送信される前に圧縮されます。 ストレージの節約と、クライアント・データの圧縮に必要な処理能力との間には、トレードオフがあります。 一般に、クライアント・システムでデータの圧縮と重複排除を行う場合、
データ重複排除のみを行う場合の約 2 倍の処理能力を使用します。
サーバーは、重複排除と圧縮が行われたデータを処理できます。 さらに、V6.2 より前のバックアップ・アーカイブ・クライアントは、 重複排除と圧縮が行われたデータをリストアできます。
クライアント・サイドのデータ重複排除では、以下のプロセスが使用されます。
- クライアントがエクステントを作成します。 エクステントとは、重複を識別するために、他のファイル・エクステントと比較されるファイルの部分です。
- クライアントとサーバーが連携して重複エクステントを識別します。 クライアントが、非重複エクステントをサーバーに送信します。
- それ以降のクライアント・データ重複排除操作で新しいエクステントが作成されます。 それらのエクステントの一部または全部が、以前のデータ重複排除操作で作成され、 サーバーに送信されたエクステントと一致する可能性があります。 一致するエクステントは、サーバーに再送信されません。
利点
クライアント・サイドのデータ重複排除には、以下のようないくつかの利点があります。
- ローカル・エリア・ネットワーク (LAN) 経由で送信されるデータの容量を削減できます。
- 重複データの識別に必要な処理能力が、サーバーからクライアント・ノードにオフロードされます。 重複排除対応のストレージ・プールでは、サーバー・サイドのデータ重複排除は常に有効です。 しかし、重複排除対応のストレージ・プール内にあるファイルで、クライアントによって重複排除されたものには、追加の処理は必要ありません。
- サーバー上の重複データの除去に要求される処理能力が不要になります。 そのため、サーバー上のスペースが即時に節約できます。
クライアント・サイドのデータ重複排除には、潜在的な欠点があります。 クライアント・エクステントを含む 1 次ストレージ・プールを、 重複排除されていないコピー・ストレージ・プールにバックアップするまで、 サーバーにはクライアント・ファイル全体のコピーはありません。 (エクステント は、データ重複排除プロセス中に作成されるファイルの一部です。) 重複排除されていないストレージ・プールへのストレージ・プールのバックアップ中に、クライアント・エクステントは再アセンブルされて連続したファイルになります。
デフォルトでは、データ重複排除用にセットアップされた 1 次順次アクセス・ストレージ・プールは、レクラメーション処理の前、および重複データの除去前に、重複排除されていないコピー・ストレージ・プールにバックアップしておく必要があります。 このデフォルトの処理によって、サーバーでは常に 1 次ストレージ・プールまたはコピー・ストレージ・プールのどちらかにファイル全体のコピーが存在するようになります。
以下のオプションは、データ重複排除に関係するものです。
- 重複排除
- Dedupcachepath
- Dedupcachesize
- Enablededupcache
- Exclude.dedup
- Include.dedup