Google BigQuery リネージュ構成

Google BigQuery からリネージュメタデータをインポートするには、接続、 データ・ソース定義、 ジョブ作成します。

Google BigQuery のリネージュインポートするには、以下の手順を実行する：

  1. データ・ソース定義作成.
  2. プロジェクトのデータ・ソースへの接続を作成する。
  3. メタデータのインポートを作成する。

データ・ソース定義作成

データ・ソース定義作成. を選択する。 Google BigQuery を選択する。

への接続を作成する Google BigQuery

プロジェクトのデータ・ソースへの接続を作成する。 接続の詳細については、 Google BigQuery 接続を参照。

Google BigQuery メタデータ・インポート・ジョブを使用する場合は、以下の認証方法のいずれかを選択します：

クライアントID、クライアントシークレット、アクセストークン、リフレッシュトークンの認証方法を選択した場合、メタデータインポートジョブは失敗します。

メタデータ・インポートの作成

メタデータのインポートを作成する。 Google BigQuery データソース固有のオプションについては、こちらをご覧ください：

インクルードリストと除外リスト

データ・セット・レベルまで資産を含めたり除外したりすることができます。 プロジェクトとデータセットをプロジェクト/データセットの形式で指定します。 各部品は正規表現として評価されます。 データ・ソースに後から追加された資産も、リストで指定された条件に一致すれば、含まれます/除外されます。 値の例：

  • myProject/ myProject、
  • myProject2/.* myProject2、
  • myProject3/myDataset1: myDataset1 from myProject3、
  • myProject4/myDataset[1-5] myProject4 myDataset 、1～5の数字で始まる名前を持つデータセット

外部入力

外部の Google BigQuery SQLやジョブ使用する場合は、外部入力として.zipファイルに追加することができます。 .zipファイルの構造をプロジェクトおよびデータ・セットを表すサブフォルダーとして編成できます。 スクリプトがスキャンされると、選択したカタログまたはプロジェクト内の各プロジェクトおよびデータ・セットの下に追加されます。 .zipファイルは以下のような構造になっている：

<project_id>
   <dataset_name>
      <script_name.sql>
<project_id>
        <script_name.sql>
jobs
       <job_name.json>
<script_name.sql>
replace.csv
connectionsConfiguration.prm

replace.csv ファイルには、.zip ファイルに追加されるスクリプトのプレースホルダー置換が含まれています。 フォーマットの詳細については、 プレースホルダーの置換を参照のこと。

connectionsConfiguration.prm ファイルには、連携クエリで使用されるデータベース接続リソース定義が含まれます。 ファイルは以下のような構造になっている：

[{Shortcut_Name}] Type={connection_type}
Connection_String={connection_string}
Server_Name={server_name}
Database_Name={database_name}
Schema_Name={schema_name}
User_Name={user_name}

もっと見る