データブリックの接続

オンライン編集

Databricksアカウントを Cloudability に接続することで、コストと使用データの取り込みが可能になります。 この統合は、Databricks on AWS および Databricks on GCP でのみ使用することを意図しています。 Azure Databricksを使用している場合、 Azure 請求データには十分なデータ粒度があります。

に初期費用と使用量データが表示されるまでに24時間かかります。 Cloudability

前提条件

  • Cloudability 管理者であり、Cloudabiliy のベンダー資格情報ページにアクセスできる必要があります。
  • Unityカタログのセットアップ、ワークスペースとシステム・スキーマの有効化、およびカタログ、スキーマ、およびテーブルへのアクセス権を持つサービス・プリンシパル・ユーザの 作成に必要な適切な権限。
  • サービスプリンシパルの OAuth クレデンシャルを管理するには、Databricks アカウント管理者である必要があります。
  • Databricks アカウント管理者 / ワークスペース管理者は、databricks ワークスペース コンソールでアクションを実行できます。
  • サービスプリンシパルユーザーがクエリを実行するために使用できるSQL Warehouseを作成する必要がある
  • 24時間に一度、Databricksのコストと使用データを取得するためにノートブックを実行するようスケジュールできること
  • データベースのコミットメント契約や従量課金契約を結んでいるかどうかご確認ください。 Cloudability、課金額が適切に表示されます

統合の概要

この統合では、Unity カタログをセットアップし、ワークスペースとシステム・スキーマを有効にし、カタログ、スキーマ、およびテーブルへのアクセス権を持つ サービス・プリンシパル・ユーザを 作成する必要があります。 ユーザは、資格情報 UI でダウンロードしたノートブックに基づいて、サービス・プリンシパル・ユーザが実行するために使用できる SQL Warehouse も作成する必要があります。 このノートブックは、Databricksのコストと使用量データを引き出すために、毎日1回実行しなければならない。 Cloudability そのため、クレデンシャルUIにその情報を入力するオプションを追加し、表示されるコストにこの割引を考慮できるようにしました。

Databricks では、自動化ツール、ジョブ、アプリケーションにサービスプリンシパル ID を使用することを推奨しています。 この統合では、使用量と請求の監視プロセスを自動化するため、作成するようお願いしています。

  1. ユニティカタログの設定 クリック https://docs.databricks.com/en/data-governance/unity-catalog/get-started.html.
  2. Unityカタログのワークスペースを有効にします。 クリック https://docs.databricks.com/en/data-governance/unity-catalog/enable-workspaces.html.
  3. Unityカタログでシステムスキーマを 有効にする。 クリック https://docs.databricks.com/api/azure/workspace/systemschemas/enable
  4. アカウント・レベルでサービス・プリンシパル・ユーザを 作成する。 クリック https://docs.databricks.com/en/admin/users-groups/service-principals.html#add-service-principals-to-your-account-using-the-account-consol.
  5. Unityカタログ有効ワークスペースにサービスプリンシパルを追加します。 クリック https://docs.databricks.com/en/admin/users-groups/service-principals.html#add-a-service-principal-to-a-workspace-using-the-workspace-admin-settings.
  6. サービスプリンシパルに、新しく作成されたカタログ、スキーマ、およびテーブルの権限を付与する。 クリック https://docs.databricks.com/en/data-governance/unity-catalog/manage-privileges/index.html#manage-privileges-in-unity-catalog.
  7. SQL ウェアハウスを作成し、 https://docs.databricks.com/en/compute/sql-warehouse/create.html をクリックする。
    注: SQL Warehouse はサーバーレスである必要があります
  8. サービスプリンシパルにSQL Warehouseの使用権限を付与する。 クリック https://docs.databricks.com/en/compute/sql-warehouse/create.html#manage-a-sql-warehouse.
注： クラウドプロバイダのマーケットプレイス経由でDatabricksを購入し、この統合でDatabricksのコストと使用データを追加している場合、 Cloudability レポートにコストが2回表示されます。 例として、 AWS マーケットプレイス経由でDatabricksを購入した場合：
  • AWS。

  • 詳細なDatabricksのコストと AWS マーケットプレイスの 行項目は、 売主として 記載されている。

マーケットプレイスのコストを隠すには、フィルターやビューを設定する必要があります。 マーケットプレイスの費用は請求から除外される。

ステップ 1 - Databricks アカウントコンソール

サービスプリンシパルの作成

アカウントコンソールを使ってアカウントにサービスプリンシパルを追加するには、以下の手順に従う。
  1. アカウント管理者として、アカウントコンソールにログインします。
  2. ユーザー管理 をクリックします。
  3. サービス・プリンシパル] タブで、[ サービス・プリンシパルの追加] をクリックします。
  4. サービスプリンシパルの名前を入力します。
  5. [追加]をクリックします。
  6. クレデンシャルとシークレットタブを選択
  7. OAuth Secretsの 下にある Generate Secretを クリックします。
  8. 最大日数を選択し、完了を選択する。
  9. 表示されたシークレットとクライアント ID をコピーし、 [完了] をクリックします。

ステップ2 - Databricksワークスペースコンソール

ワークスペースへのサービス・プリンシパルの追加
  1. ワークスペースにログインする。
  2. ユーザー管理 をクリックします。
  3. 設定 を選択する。
  4. アイデンティティとアクセス をクリックする。
  5. サービスプリンシパルの 「管理 」をクリックする。
  6. [サービス プリンシパルの追加] をクリックします。
  7. 上記で作成したものと同じサービスプリンシパルを追加する。
倉庫へのサービスプリンシパル権限の追加
  1. SQL Warehouse をクリックします。
  2. クエリに使用する倉庫については、倉庫をクリックしてください。
  3. アクセス許可 をクリックします。
  4. 使用できる 権限を持つ サービス・プリンシパルを 追加する。

ステップ3 Cloudability

  1. Cloudability で、 「設定」 > 「ベンダー認証情報」 > 「データソースの追加」に移動し、「Databricks」を選択します。
    1. ノートブックのダウンロード

ステップ4 - Databricksワークスペースコンソール

お客様は、 サービスプリンシパルを追加したワークスペースで、cloudability UIからダウンロードしたノートブックを24時間実行するようにスケジュールする必要があります
注意: このノートブックを実行するためには、以下のDatabricksランタイムとsparkを含むコンピュートマシンを作成する必要があります。

billing_dataカタログが存在する場合は、以下のステップに進んでください。存在しない場合は、 Cloudability からダウンロードしたノートブックを実行し、以下のステップに進んでください。

テーブルにサービスプリンシパルへの許可を追加する
  1. カタログをクリックしてください。
  2. 権限を与える必要があるカタログ名をクリックします。
  3. アクセス許可 をクリックします。
  4. 補助金を クリック。
  5. 校長を選択する。
  6. 権限 ] で [USE CATALOG ]、 [ USE SCHEMA ]、 [ SELECT] を選択します。
  7. [確認]をクリックします。
ステップ 5: Cloudability コンソール
  1. Cloudability UIに詳細を入力
    1. Databricks アカウントID
    2. DatabricksクライアントID
    3. データブリックの秘密
      注： サービスプリンシパルからクライアントIDとシークレットをコピーする
    4. ワークスペース URL https なし - これは、サービス・プリンシパルを適用したワークスペースです
    5. ステップ2で作成した倉庫IDを入力してください
    6. サブスクリプション・モデルの選択
      1. マーケットプレイス - AWS または GCP マーケットプレイス経由で Databricks を購入した場合は、マーケットプレイスを選択します
      2. ダイレクト - Databricksから直接購入された場合は、このオプションを選択してください
    7. 依存CSP
      1. インフラがホストされている AWS または GCP を選択します
    8. 支払いモデルの選択
      1. コミット済み契約
        1. ここでは、コミットメントの開始日、終了日、割引率の詳細が必要です
        2. 複数のコミットメント契約を結んでいる場合は、+ボタンを使って追加することができます
      2. ペイ・アズ・ユー・ゴー
        1. ペイ・アズ・ユー・ゴーの開始日を共有する
    9. 保存 をクリックします。
    10. Verifyをクリックする。

緑色の目盛り () は成功を示し、赤色の感嘆符 () はエラーを示す

認証に失敗した場合は、15分後に再試行してください。

このプロセスが完了すると、24時間以内に、 Cloudability 内に請求データとデータベースリックのタグが入力されるようになります。

よくあるご質問

Cloudability は、Databricksへのトラフィックを制御するためのIPホワイトリストに対応していますか？

はい、IPホワイトリストはサポートされています。 詳しくは IBM サポートまでお問い合わせください。

Cloudability Databricks のプライベート リンクまたは Delta Sharing をサポートしていますか?

プライベートリンクやデルタ共有は、Databricksではまだサポートされていません。

スケジュールノートブックが実行されていない場合は？

Sparkが有効になっているコンピュートマシンを構成してください

ノートブックを修正することは可能ですか？

Cloudability UIからダウンロードしたノートブックは、様々な内部処理が設定を使用するため、編集しないことをお勧めします。

Databricksタグの取得方法

Cloudability リソースレベルのカスタムタグをサポート

  • これらはDatabricksの請求データの一部であり、 Cloudability、これらを有効にするための特別なパーミッションは必要ありません
  • Tags.Workspaceid、タグキーとしてcldy:databricks:workspaceidの下に表示されます

UIに割引を入力する必要性は？

Cloudability そのため、クレデンシャルのUIにその情報を入力するオプションを追加し、この割引を表示するコストに反映できるようにしました

Databricksの資格認定における日付の関連性は？

資格情報 UI で指定された日付は、Databricks からのデータ取得に使用されます。

DatabricksのAPIでは、過去13ヶ月間のデータを取得することができ、お客様は過去13ヶ月間の任意の日付を選択し、Databricksの詳細なデータを取得することができます。