Data Refinery フローの管理

Data Refinery フローの保存

Data Refinery ツールバーにある 「 Data Refinery フローを保存」 アイコン をクリックして、 Data Refinery フローを保存します。 Data Refinery フローは、現在作業中のプロジェクトに保存されます。 後でデータ・セットの精製を続行できるように、Data Refinery フローを保存します。

Data Refinery フローのデフォルト出力は、データ資産 source-file-name_shaped.csvとして保存されます。 mydata_csv_shapedmydata.csvたとえば、ソースファイルが Data Refinery の場合、「」フローのデフォルトの名前と出力は.となります。 「 Data Refinery 」フローのターゲットを変更することで、名前を編集したり拡張機能を追加したりできます。

プロジェクトでフォルダ機能が有効になっている場合、 Data Refinery のフローと出力をフォルダに保存できます。 フローの場所やターゲットは、 「情報」パネル 、または 「フロー設定 」アイコンから編集できます。

Data Refinery フローのジョブを実行またはスケジュールする

Data Refinery は、精製に時間がかかり、処理が困難な場合がある大規模なデータ・セットをサポートします。 作業を迅速かつ効率的に進めていただけるよう、 Data Refinery はデータセットの一部の行のみを対象として処理を行います。 サンプルサイズは1MB、または10,000行のいずれか早い方となります。 「 Data Refinery 」フローのジョブを実行すると、データセット全体が処理されます。 ジョブを実行する際は、実行時間を選択し、1回限りのスケジュールまたは繰り返しスケジュールを設定できます。

求人を保存・閲覧するData Refineryで、ツールバーの Data Refinery アイコン 求人 をクリックし、次に または ジョブを保存して作成する を選択します。

Data Refinery フローを保存した後、プロジェクトページからそのフローのジョブを作成することもできます。 [タブ] 資産 に移動し、[ Data Refinery フロー] を選択して、[アイコン] オーバーフロー から [ 新しいジョブ ] を選択します。

ジョブの詳細を表示したり、ジョブを編集・実行したりするには、 管理者または編集者の権限が必要です。 このプロジェクトの「 Viewer 」ロールでは、ジョブの詳細のみを表示できます。

ジョブを実行するには、 ユーザーAPIキー が必要です。 通常、最初のジョブ作るときに自動的に作成される。 プロフィールと設定から手動でAPIキーを作成することもできます。

ジョブについて詳しくは、 Data Refineryを参照してください。

Data Refinery フローの名前の変更

「 Data Refinery 」ツールバーで、 「情報」パネルを開きます。 または、 フロー設定アイコン をクリックし、 「全般 」タブに移動します。

UIを使用せずに、プログラムで Data Refinery フローを作成する

APIの shaperAPICreated 属性を使用することで、 Data Refinery フローをプログラムから作成できます。 この機能により、以下のことが可能になります：

• 外部APIを使用して、 Data Refinery フローを作成します。
• サードパーティ製連携機能を使用して、整形操作を含むフローを生成します。
• 自動化されたワークフローを使用して、データ変換パイプラインを作成します。
• カスタムアプリケーションを使用して、UIを使わずに Data Refinery フローを構築します。

詳細については、APIドキュメントを参照してください： <hostname:port_number>/v2/data_flow_spark/docs/swagger/index.html

ステップの取り消しまたは再実行

ツールバーの「 元に戻す 」アイコン または「 やり直し 」アイコン をクリックします。

ステップの編集、複製、挿入、または削除

[ステップ] ペインで、変更したい操作のステップにある [ オーバーフロー ] アイコン をクリックします。 アクション (「編集」、 「複製」、 「前にステップを挿入」、 「後にステップを挿入」、または 「削除」) を選択します。

• 「編集」を選択すると、 Data Refinery が編集モードになり、編集する操作がコマンド行または「操作」ペインに表示されます。 編集した操作を適用します。

• 「複製」を選択すると、選択したステップの後に複製されたステップが挿入されます。

Data Refinery は、 Data Refinery フローを更新して変更を反映し、すべての操作を再実行します。

「スナップショット・ビュー」で Data Refinery フロー・ステップを表示する

任意の時点でのデータの見え方を確認するには、前のステップをクリックして Data Refinery をスナップショット・ビューにします。 例えば、 「データ・ソース」をクリックすると、データの詳細化を開始する前のデータの内容が表示されます。 任意の「操作」ステップをクリックすると、その操作が適用された後のデータの見え方を確認できます。 スナップショット・ビューを終了するには、 「ステップ x/y の表示」 をクリックするか、選択したステップと同じステップをクリックしてスナップショット・ビューに入ります。

Data Refinery フローデータを CSV ファイルにエクスポートする

エクスポートアイコンをクリックします ツールバーの を使用すると、 Data Refinery フローの現在のステップのデータを Data Refinery フロー ジョブを保存または実行せずに CSV ファイルにエクスポートできます。 たとえば、進行中の Data Refinery フローを素早く出力したい場合などに、このオプションを使用します。 データをエクスポートすると、 CSV ファイルが作成され、 Data Refinery フローの現在のステップにおいて、お使いのコンピューターのダウンロードフォルダ（またはユーザーが指定したダウンロード場所）にダウンロードされます。 スナップショットビュー の場合、 CSV ファイルの出力は、クリックしたステップのものです。 データのサンプル (サブセット) を表示している場合は、サンプル・データのみが出力されます。

プロジェクト アセットをエクスポートすることで、Data Refinery フローをエクスポートすることもできます。 詳細については、プロジェクト資産のエクスポートを参照してください。

Data Refinery フローのソースの変更

Data Refinery フローのソースを変更します。 同じ Data Refinery フローを、別のソース・データ・セットで実行します。 プロジェクトでフォルダ機能が有効になっている場合、フォルダを参照してソースデータセットを選択できます。 ソースを変更するには、以下の 2 つの方法があります。

• [手順 ] ペインで： [データ ソース] の横にあるオーバーフロー アイコン をクリックし、 [編集] を選択して、別のソース データ セットを選択します。
  
  

• フロー設定: 同じ場所で複数のデータ・ソースを変更する場合は、この方法を使用できます。 例えば、Join 操作または Union 操作の場合などです。 ツールバーの「 フロー設定 」アイコンをクリックします。 [ソースデータセット] タブに移動し、データソースの横にあるオーバーフロー アイコン をクリックします。 「データ・ソースの置換」を選択してから、別のソース・データ・セットを選択します。

最適な結果を得るには、新しいデータ・セットに元のデータ・セットと互換性があるスキーマ (列名、列数、データ型など) が必要です。 新しいデータセットのスキーマが異なる場合、そのスキーマに対応していない操作ではエラーが発生します。 操作の編集や削除、または互換性のより高いスキーマのあるソースへの変更が可能です。

ターゲットに接続を選択した場合、 Data Refineryでサポートされているデータソースのリストにある接続のみを使用できます。

サンプル・サイズの編集

Data Refinery フローのジョブを実行すると、データ・セット全体に対して操作が実行されます。 ただし、 Data Refineryで操作を対話式に適用すると、データ・セットのサイズに応じて、データのサンプルのみが表示されます。

サンプル・サイズを大きくすると、 Data Refinery フロー・ジョブの結果に近い結果が表示されますが、 Data Refineryで結果を表示するのに時間がかかる場合があることに注意してください。 最大は、10,000 行または 1 MB のいずれか早い方のトップ行カウントです。 より迅速に結果を表示するには、サンプル・サイズを小さくします。 データのサイズ、および操作の数と複雑さによっては、サンプル・サイズを試して、データ・セットに最適なものを確認することができます。

ツールバーの「 フロー設定 」アイコンをクリックします。 [ ソースデータセット ] タブに移動し、データソースの横にあるオーバーフロー アイコン をクリックして、[ サンプルの編集 ] を選択します。

ソース・プロパティーの編集

使用可能なプロパティーは、データ・ソースによって異なります。 データ資産と、さまざまな種類の接続からのデータには、異なるプロパティーを使用できます。 推測されたファイル・フォーマットが正しくない場合にのみ、ファイル・フォーマットを変更してください。 ファイル・フォーマットを変更すると、ソースは新しいフォーマットで読み取られますが、ソース・ファイルは変更されません。 フォーマット・ソース・プロパティーの変更は、反復プロセスである可能性があります。 オプションを適用した後に、データを検査してください。

ツールバーの「 フロー設定 」アイコンをクリックします。 [ ソースデータセット ] タブに移動し、データソースの横にあるオーバーフロー アイコン をクリックして、[ 形式の編集 ] を選択します。

Data Refinery フローのターゲットを変更する

デフォルトでは、 Data Refinery のターゲットは、作業中のプロジェクトにデータ資産として保存されます。

保存先を変更するには、ツールバーの 「フロー設定 」アイコン をクリックしてください。 「ターゲット・データ・セット」 タブに移動し、 「ターゲットの選択」をクリックして、別のターゲット・ロケーションを選択します。 プロジェクトでフォルダ機能が有効になっている場合、フォルダを参照して保存先フォルダを選択できます。

ターゲットに接続を選択した場合、 Data Refineryでサポートされているデータソースのリストにある接続のみを使用できます。 これらの接続の中には、Data Refineryフローのソースとしてのみ使用できるものもある。

ターゲット・プロパティーの編集

使用可能なプロパティーは、データ・ソースによって異なります。 データ資産と、さまざまな種類の接続からのデータには、異なるプロパティーを使用できます。

ターゲットデータセットのプロパティを変更するには、ツールバーの 「フロー設定 」アイコン をクリックします。 「ターゲット・データ・セット」 タブに移動し、 「プロパティーの編集」をクリックします。

作業を続行するための Data Refinery フローの再オープン

Data Refinery フローを再オープンし、データの精製を続行するには、プロジェクトの「アセット (Assets)」タブに移動します。 「資産タイプ」の下で、 「フロー」を展開し、 Data Refinery 「フロー」をクリックします。 「 Data Refinery 」というフロー名をクリックします。

「 Data Refinery 」フローを複製する

Data Refinery フローのコピーを作成するには、プロジェクトの 「資産」 タブに移動し、 「フロー」を展開して、 Data Refinery フローをクリックします。 「 Data Refinery 」フローを選択し、 オーバーフロー アイコンから 「複製」 を選択します。 「 Data Refinery 」フローが、「 Data Refinery 」フローの一覧に「 original-name copy 1」という名前で追加されます。

Data Refinery フローを削除する

Data Refinery フローを削除するには、プロジェクトの 「資産」 タブに移動し、 「フロー」を展開して、 Data Refinery フローをクリックします。 「 Data Refinery 」フローを選択し、 オーバーフロー アイコンから 「削除 」を選択します。

Data Refinery のフローをスペースに公開する

デプロイメントスペースは、プロジェクトとは別の環境で、関連する一連のアセットを管理するために使用されます。 配置ジョブのデータを準備するためにスペースを使用します。 複数のプロジェクトにある Data Refinery フローを、1つのスペースに展開することができます。 「 Data Refinery 」フローを公開する前に、その手順をすべて完了させてください。スペース内では「 Data Refinery 」フローを編集できないためです。

Data Refinery フローをスペースに昇格させるには、プロジェクトの「 アセット」 タブで 「フロー」を展開し、 Data Refinery フローをクリックします。 Data Refinery フローを選択する。 「 Data Refinery 」フローのオーバーフロー アイコン をクリックし、 「昇格 」を選択します。 「 Data Refinery 」フローのソースファイルおよびその他の依存データも同様に移行されます。

スペース内のフロー Data Refineryジョブを作成または実行するには、そのスペースの 資産 タブに移動し、画面を下にスクロールしてフロー Data Refinery を見つけ、アイコン オーバーフロー からアイコン 新しいジョブ をクリックします。 ジョブを実行するには、 ユーザーAPIキーが必要です。 通常、最初のジョブ作るときに自動的に作成される。 また、 プロフィールと設定から APIキーを手動で作成することもできます。 ジョブをすでに作成している場合は、「 ジョブ 」タブに移動して、ジョブを編集したり、ジョブの実行詳細を確認したりできます。 Data Refinery フロージョブの整形済み出力は、スペースの「 アセット 」タブで確認できます。 ジョブの詳細を表示したり、ジョブを編集・実行したりするには、 管理者または編集者の権限が必要です。 このプロジェクトの「 閲覧者 」ロールでは、ジョブの詳細を表示することしかできません。 整形された出力をジョブの入力データとして使うことができる。

スペースに関する詳細については、 「デプロイメントスペース」 を参照してください。

Data Refinery フロー・データをプロジェクト・アセットとともにエクスポートします

プロジェクト アセットをエクスポートすることで、Data Refinery フローをエクスポートすることもできます。 詳細については、プロジェクト資産のエクスポートを参照してください。