Connessione Google BigQuery

Per accedere ai tuoi dati in Google BigQuery, crea un asset di connessione per essi.

Google BigQuery è un data warehouse completamente gestito e privo di server che consente analisi scalabili su petabyte di dati.

Crea una connessione a Google BigQuery

Per creare la risorsa di connessione, sono necessari i seguenti dettagli di connessione:

Connettività comune

  • ID progetto : l'ID del progetto Google.
  • Servizio API URL : specificare l'URI per l'endpoint del servizio BigQuery API se si utilizza Private Service Connect per BigQuery. Altrimenti verrà utilizzato l'URI predefinito.
  • Proxy server (opzionale)

Selezionare Server proxy per accedere all'origine dati di Google BigQuery tramite un server proxy HTTPS. In base alla sua configurazione, un server proxy può fornire il bilanciamento del carico, una maggiore sicurezza e privacy. Le impostazioni del server proxy sono indipendenti dalle credenziali di autenticazione e dalla selezione di credenziali personali o condivise. Per una maggiore sicurezza è possibile fornire un certificato SSL. Le impostazioni del server proxy non possono essere memorizzate in un vault.

  • Host proxy : il nome host o l'indirizzo IP del server proxy. Ad esempio, proxy.example.com o 192.0.2.0.
  • Porta proxy : il numero di porta per connettersi al server proxy. Ad esempio, 8080 o 8443.
  • Nome utente proxy e Password proxy.
  • Protocollo proxy : il protocollo del server proxy. Selezionare HTTP o HTTPS.

Credenziali

Sono disponibili metodi di autenticazione specifici in base alla distribuzione:

Connettività comune

Scegli un metodo di autenticazione e inserisci i dettagli specifici richiesti per ciascun metodo:

  • Chiave account (frammento JSON completo)

    • Credenziali : il contenuto del file chiave Google account servizio (JSON).
  • ID cliente, segreto cliente, token di accesso e token di aggiornamento

    • Token di accesso : un token di accesso che può essere utilizzato per connettersi a Google BigQuery.
    • ID cliente : l'ID cliente dell' OAuth.
    • Segreto cliente : il segreto cliente dell' OAuth.
    • Token di aggiornamento : un token di aggiornamento da utilizzare per aggiornare il token di accesso.

Con la federazione delle identità del
carico di lavoro Si utilizza un provider di identità esterno ( IdP ) per l'autenticazione. Un provider di identità esterno utilizza IAM (Identity and Access Management) invece delle chiavi account del servizio. IAM fornisce una maggiore sicurezza e una gestione centralizzata. È possibile utilizzare l'autenticazione federata dell'identità del carico di lavoro con un token di accesso o con un token URL.

È possibile configurare una connessione a Google BigQuery per la federazione dell'identità del carico di lavoro con qualsiasi provider di identità conforme alle specifiche OpenID Connect (OIDC) e che soddisfi i requisiti di Google Cloud descritti in Preparare l'IdP esterno. I requisiti includono:

  • Il provider di identità deve supportare OpenID Connect 1.0.
  • I metadati OIDC del provider di identità e gli endpoint JWKS devono essere accessibili pubblicamente su internet. Google Cloud utilizza questi endpoint per scaricare la serie di chiavi del provider di identità e utilizza tale serie di chiavi per convalidare i token.
  • Il provider di identità è configurato in modo che il tuo carico di lavoro possa ottenere token ID che soddisfano questi criteri:
    • I token sono firmati con l'algoritmo RS256 o ES256 .
    • I token contengono una richiesta aud.

Per esempi delle fasi di configurazione della federazione delle identità del carico di lavoro per Amazon Web Services ( AWS ) e Microsoft Azure, vedere

  • Federazione delle identità del carico di lavoro con connessione tramite token di accesso

    • Destinatario del servizio token di sicurezza: il destinatario del servizio token di sicurezza che contiene l'ID progetto, l'ID pool e l'ID provider. Utilizzare questo formato:

      //iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
      

      Per ulteriori informazioni, vedere Autenticare un carico di lavoro utilizzando l'API REST.

    • Email account di servizio: l'indirizzo email dell'account di servizio Google da impersonare. Per ulteriori informazioni, vedere Creare un account di servizio per il carico di lavoro esterno.

    • Durata token account di servizio (facoltativo): la durata in secondi del token di accesso dell'account di servizio. La durata predefinita di un token di accesso dell'account di servizio è un'ora. Per ulteriori informazioni, vedere CredenzialiURL.

    • Formato token: testo o JSON con il nome del campo Token per il nome del campo nella risposta JSON che contiene il token.

    • Nome campo token: il nome del campo nella risposta JSON che contiene il token. Questo campo viene visualizzato solo quando il Formato token è JSON.

    • Tipo di token : AWS Richiesta Signature Version 4, Google OAuth 2.0 token di accesso, token ID, JSON Web Token (JWT) o SAML 2.0.

    • Token di accesso : un token di accesso fornito dal provider di identità per connettersi a Google BigQuery.

  • Federazione delle identità del carico di lavoro con dettagli di connessione URL token

    • Destinatario del servizio token di sicurezza: il destinatario del servizio token di sicurezza che contiene l'ID progetto, l'ID pool e l'ID provider. Utilizzare questo formato:

      //iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
      

      Per ulteriori informazioni, vedere Autenticare un carico di lavoro utilizzando l'API REST.

    • Email account di servizio: l'indirizzo email dell'account di servizio Google da impersonare. Per ulteriori informazioni, vedere Creare un account di servizio per il carico di lavoro esterno.

    • Durata token account di servizio (facoltativo): la durata in secondi del token di accesso dell'account di servizio. La durata predefinita di un token di accesso dell'account di servizio è un'ora. Per ulteriori informazioni, vedere CredenzialiURL.

    • URL del token: L'URL per recuperare un token.

    • MetodoHTTP: Metodo HTTP da utilizzare per la richiesta del token URL: GET, POST o PUT.

    • Corpo della richiesta (per i metodi POST o PUT): Il corpo della richiesta HTTP per recuperare un token.

    • IntestazioniHTTP: Intestazioni HTTP per la richiesta di URL token in JSON o come corpo JSON. Utilizzare il formato "Key1"="Value1","Key2"="Value2".

    • Formato token: testo o JSON con il nome del campo Token per il nome del campo nella risposta JSON che contiene il token.

    • Nome campo token: il nome del campo nella risposta JSON che contiene il token. Questo campo viene visualizzato solo quando il Formato token è JSON.

    • Tipo di token : AWS Richiesta Signature Version 4, Google OAuth 2.0 token di accesso, token ID, JSON Web Token (JWT) o SAML 2.0.

Altre proprietà

Formato stringa JSON di output: formato stringa JSON per i valori di output che sono tipi di dati complessi (ad esempio, nidificati o ripetuti).

  • Pretty: i valori vengono formattati prima di inviarli all'output. Utilizzare questa opzione per leggere visivamente alcune righe.
  • Raw: (valore predefinito) Nessuna formattazione. Utilizzare questa opzione per ottenere prestazioni ottimali.

Rilevamento metadati: l'impostazione determina se i commenti sulle colonne (note) e gli alias per gli oggetti dello schema quali tabelle o viste (sinonimi) vengono richiamati quando gli asset vengono aggiunti utilizzando questa connessione.

Autorizzazioni

La connessione a Google BigQuery richiede le seguenti autorizzazioni BigQuery :

  • bigquery.job.create
  • bigquery.tables.get
  • bigquery.tables.getData

Usa uno dei tre modi per ottenere questi permessi:

  • Utilizza il BigQuery Cloud IAM bigquery.adminpredefinito, che include queste autorizzazioni;
  • Utilizzare una combinazione di due ruoli, uno da ogni colonna nella seguente tabella; oppure
  • Creare un ruolo personalizzato. Vedere Creare e gestire ruoli personalizzati.
Primo ruolo Secondo ruolo
bigquery.dataEditor bigquery.jobUser
bigquery.dataOwner bigquery.user
bigquery.dataViewer

Per ulteriori informazioni sulle autorizzazioni e sui ruoli in Google BigQuery, vedere Ruoli e autorizzazioni predefiniti.

Conformità agli standard federali di elaborazione delle informazioni (FIPS)

Questa connessione è conforme allo standard FIPS e può essere utilizzata su un cluster abilitato per FIPS.

Configurazione di Google BigQuery

Quickstart utilizzando la Console Cloud

Ulteriori informazioni