wx-data コマンドと使用法

wx-data コマンドは、さらにその中に様々なコマンドを持ち、それを使って、以下のような様々な操作を行うことができる。 watsonx.data. このトピックでは、実行可能なタスクの簡単な説明とともにコマンドの一覧を示します。

IBM Software Hub上のwatsonx.data

IBM Cloud®上のwatsonx.data

wx-data コマンドは、データのインジェスト、エンジン、ストレージ、データソースの管理などのオペレーションを実行します。 watsonx.data.

構文
./cpdctl wx-data [command] [options]
wx-data コマンドは以下のコマンドをサポートしている:

wx-data コマンドの使い方 --help (-h)

  • wx-data プラグインの全コマンドをリストアップする:
    ./cpdctl wx-data --help
  • wx-data プラグインの特定のコマンドのすべてのオプションとその説明の詳細を取得します:
    ./cpdctl wx-data [command] --help

    例:

    ./cpdctl wx-data ingestion -h
    NAME:
      ingestion - Commands for Ingestion resource.
    
    USAGE:
       cpdctl wx-data ingestion [action]
    
    COMMANDS:
      list     List ingestion jobs.
      create   Create an ingestion job.
      get      Get ingestion job details.
    
    GLOBAL OPTIONS:
          --cpd-config string   Configuration file path
          --cpdconfig string    [Deprecated] Use --cpd-config instead
      -h, --help                Show help
          --profile string      Name of the configuration profile to use
      -q, --quiet               Suppresses verbose messages.
          --raw-output          If set to true, single values in JSON output mode are not surrounded by quotes
    
    Use "cpdctl wx-data ingestion service-command --help" for more information about a command.
    
  • wx-data 、操作を実行するためのコマンドで利用可能なすべてのオプションと引数の詳細を取得する:
    ./cpdctl wx-data [command] [options] --help
  • wx-data プラグインを使って操作を実行する:
    ./cpdctl wx-data [command] [options]

ingestion

ingestion コマンドは、. watsonx.data.

構文
./cpdctl wx-data ingestion [options]
ingestion コマンドはさらに以下のコマンドをサポートしている:
オプション 説明
./cpdctl wx-data ingestion list インスタンスで実行された watsonx.data インスタンスで実行された
./cpdctl wx-data ingestion create ジョブwatsonx.data インスタンスに
./cpdctl wx-data ingestion get で実行された取り込みジョブ詳細を取得する。 watsonx.data インスタンスで実行された

engine

engine コマンドは、エンジン関連のさまざまな操作を実行するために使用されます。 watsonx.data.

構文
./cpdctl wx-data engine [options]

engine コマンドは以下のコマンドをサポートしている:

オプション 説明
./cpdctl wx-data engine list で利用可能なすべてのエンジンを一覧表示します。 watsonx.data インスタンスを表示します。
./cpdctl wx-data engine create でエンジンを作成または登録する。 watsonx.data インスタンスを作成します。
./cpdctl wx-data engine delete からエンジンを削除します。 watsonx.data インスタンスから削除します。
./cpdctl wx-data engine attach の Presto エンジンにカタログを関連付ける。 watsonx.data インスタンスに関連付ける。
./cpdctl wx-data engine detach の Presto エンジンに関連付けられているカタログの関連付けを解除します。 watsonx.data インスタンスに
watsonx.data2.1.1 バージョンでは、 createdelete コマンドは Presto (Java) エンジンの作成と削除にのみ使用されます。
watsonx.data2.1.2 バージョン以降では、 createdelete コマンドは watsonx.data.

bucket

bucketwatsonx.data.

構文
./cpdctl wx-data bucket [options]

bucket コマンドは以下のコマンドをサポートしている:

注: ./cpdctl wx-data bucket deactivate オプションは watsonx.data2.2.1 バージョン以降ではサポートされていません。

バージョン watsonx.data バージョン 2.2.2 以降、 watsonx.data は、関連するカタログを必要とせずに、新しく作成されたストレージを自動的にアクティベートするため、手動でアクティベートする必要がなくなります。 また、ストレージを削除する際にも、手動での無効化が不要になりました。

オプション 説明
./cpdctl wx-data bucket list インスタンスで利用可能なすべてのストレージを一覧表示します。 watsonx.data インスタンスを表示します。
./cpdctl wx-data bucket create ストレージを watsonx.data インスタンスに登録します。 外部データ保管庫( HashiCorp )からのシークレットの使用は、 create オプションで有効になります。
./cpdctl wx-data bucket get インスタンスに登録されているストレージの詳細を取得する。 watsonx.data インスタンスに登録されています。
./cpdctl wx-data bucket delete インスタンスからストレージを削除する。 watsonx.data インスタンスから削除します。
./cpdctl wx-data bucket activate でストレージバケットをアクティブにする。 watsonx.dataIBM Cloud を有効化する。
./cpdctl wx-data bucket deactivate のストレージバケットを無効にします。 watsonx.dataIBM Cloud でストレージバケットを無効にする。

database

databasewatsonx.data.

構文
./cpdctl wx-data database [options]

database コマンドは以下のコマンドをサポートしている:

オプション 説明
./cpdctl wx-data database list インスタンスで利用可能なすべてのデータ・ソースを一覧表示します。 watsonx.data インスタンスを表示します。
./cpdctl wx-data database create データ・ソースを watsonx.data インスタンスに追加する。 外部データ保管庫( HashiCorp )からのシークレットの使用は、 create オプションで有効になります。
./cpdctl wx-data database get に登録されているデータ・ソースの詳細を取得する。 watsonx.data インスタンスから取得します。
./cpdctl wx-data database delete インスタンスからデータ・ソースを削除する。 watsonx.data インスタンスから削除する。

sparkjob

sparkjob コマンドは、Spark アプリケーションの送信、すべてのアプリケーションのリスト、Spark アプリケーションのステータスの取得など、Spark に関連するさまざまな操作を実行するために使用されます。 watsonx.data.

構文
./cpdctl wx-data sparkjob [options]

sparkjob コマンドは以下のコマンドをサポートしている:

オプション 説明
./cpdctl wx-data sparkjob list Sparkエンジンで利用可能なすべてのアプリケーションをリストアップします。
./cpdctl wx-data sparkjob create Sparkの申請書を提出する。
./cpdctl wx-data sparkjob get Sparkアプリケーションのステータスを取得する。
IBM Software Hub の watsonx.data の IBM cpdctl を使って Spark アプリケーションを提出する方法の詳細については、 を使用してスパーク・アプリケーションを提出する。 IBM cpdctl を参照。

tablemaint

tablemaint コマンドは、 watsonx.data で、 Iceberg のさまざまな表メンテナンス操作を実行するために使用される。
重要: これは現在、 Amazon S3 ストレージにのみ適用されます。
構文
./cpdctl wx-data tablemaint [options]

tablemaint コマンドは以下のコマンドをサポートしている:

オプション 説明
./cpdctl wx-data tablemaint rollback-to-snapshot ロールバック、または特定のスナップショットIDにテーブルをリストアします。
./cpdctl wx-data tablemaint rollback-to-timestamp 特定のタイムスタンプのスナップショットにテーブルをロールバックする。
./cpdctl wx-data tablemaint set-current-snapshot テーブルの現在のスナップショットIDを設定します。
./cpdctl wx-data tablemaint cherrypick-snapshot スナップショットから現在のテーブルの状態に変更をチェリーピックする。 チェリーピックは、オリジナルのスナップショットを変更または削除することなく、既存のスナップショットから新しいスナップショットを作成します。
./cpdctl wx-data tablemaint expire-snapshot 不要になった古いスナップショットとそのファイルを削除する。
./cpdctl wx-data tablemaint remove-orphan Iceberg テーブルのどのメタデータ・ファイルでも参照されておらず、「孤児」とみなされるファイルを削除する。
./cpdctl wx-data tablemaint rewrite-data データファイルを書き換える。
./cpdctl wx-data tablemaint rewrite-manifests スキャン計画を最適化するために、マニフェストをテーブル用に書き換える。
./cpdctl wx-data tablemaint register-table 表の作成。
各テーブル・メンテナンス・コマンドを実行すると、以下のフラグが表示されます:
  • Force : TRUEに設定すると、実行しようとしているSQL クエリー出力されません。
  • Debug : TRUEに設定すると、Sparkアプリケーションファイルのコピーがコンピュータに保存されます。
IBM Software Hub の watsonx.data で IBM cpdctl を使用して Spark テーブルのメンテナンスを実行する方法の詳細については、 スパークテーブルのメンテナンス IBM cpdctl を参照してください。

service

servicewatsonx.data.

構文
./cpdctl wx-data service [options]

service コマンドは以下のコマンドをサポートしている:

オプション 説明
./cpdctl wx-data service list-tables インスタンス内のハイブまたはIcebergコネクタのすべてのテーブル名を一覧表示します。 watsonx.data インスタンスのすべてのテーブル名を一覧表示します。
./cpdctl wx-data service get-qhmm-config で qhmm が有効なバケット名を取得する。 watsonx.data インスタンスで
./cpdctl wx-data service monitor インスタンスで統計やqhmm関連のクエリを実行する。 watsonx.data インスタンスで実行します。
./cpdctl wx-data service generate-engine-dump Presto ワーカーまたはコーディネーターのインスタンスに固有のヒープまたはスレッドダンプを生成します。 watsonx.data インスタンスを生成します。

component

componentwatsonx.data.

構文
./cpdctl wx-data component [options]

component コマンドは以下のコマンドをサポートしている:

オプション 説明
./cpdctl wx-data component get-mds-status インスタンスのメタデータ・サービス(MDS)のコンフィギュレーションを取得する。 watsonx.data インスタンスで
./cpdctl wx-data component get-ces-status インスタンスの watsonx.data インスタンスで
./cpdctl wx-data component get-cas-cpg-endpoint インスタンスの CPG および CAS エンドポイントを取得する。 watsonx.data インスタンスで
./cpdctl wx-data component get-hms-status HMSメタの店舗一覧 watsonx.data.
./cpdctl wx-data component get-console-status インスタンスの watsonx.data インスタンスの

access-control

access-control コマンドは、以下のリソースのアクセスポリシーを管理するために使用されます。 watsonx.data.

構文
./cpdctl wx-data access-control [options]

access-control コマンドは以下のコマンドをサポートしている:

オプション 説明
./cpdctl wx-data access-control list-users-groups インスタンスにアクセスできるユーザーとグループを取得する。 watsonx.data インスタンスにアクセスできるユーザーとグループを取得します。
./cpdctl wx-data access-control list-access リソースのアクセスポリシーを一覧表示します。
./cpdctl wx-data access-control update-access リソースのアクセスポリシーを更新する。
./cpdctl wx-data access-control revoke-access リソースアクセスポリシーを取り消す。
注記: revoke-access コマンドは watsonx.data 2.3.0 リリースからのみサポートされます