Conexão do Google BigQuery

Conectividade comum

• ID do projeto : A ID do projeto Google.
• Serviço de API URL : Especifique o URI do ponto de extremidade do serviço de API BigQuery se estiver usando o Private Service Connect para BigQuery. Caso contrário, o URI padrão será usado.
• Servidor proxy (opcional)

Selecione Servidor proxy para acessar a fonte de dados Google BigQuery por meio de um servidor proxy HTTPS. Dependendo de sua configuração, um servidor proxy pode fornecer balanceamento de carga, segurança e privacidade aumentadas As configurações do servidor proxy são independentes das credenciais de autenticação e da seleção de credenciais pessoais ou compartilhadas. É possível fornecer um certificado de " SSL " para aumentar a segurança.

• Host do proxy : o nome do host ou endereço IP do servidor proxy. Por exemplo, proxy.example.com ou 192.0.2.0.
• Porta do proxy : O número da porta para conexão com o servidor proxy. Por exemplo, 8080 ou 8443.
• Nome do usuário do proxy e Senha do proxy
• Protocolo de proxy : O protocolo do servidor proxy. Selecione HTTP ou HTTPS.

StreamSets

• ID do projeto : A ID do projeto Google.

Conectividade comum

Escolha um método de autenticação e preencha os detalhes específicos necessários para cada método:

• Chave de conta (snippet JSON completo)

  • Credenciais : O conteúdo do arquivo (JSON) da chave da conta do serviço Google.

• ID do cliente, Segredo do cliente, Token de acesso e Token de atualização

  • Token de acesso : Um token de acesso que pode ser usado para se conectar a Google BigQuery.
  • ID do cliente : O ID do cliente do serviço de gerenciamento de dispositivos ( OAuth ).
  • Segredo do cliente : O segredo do cliente do OAuth.
  • Token de atualização : Um token de atualização a ser usado para atualizar o token de acesso.

Com a federação de identidade de carga de trabalho
Você usa um provedor de identidade externo ( IdP ) para autenticação. Um provedor de identidade externo usa o Identity and Access Management (IAM) em vez de chaves de conta do serviço... O IAM fornece segurança aumentada e gerenciamento centralizado Você pode usar a autenticação da federação de identidade da carga de trabalho com um token de acesso ou com um token URL.

Você pode configurar uma conexão Google BigQuery para federação de identidade de carga de trabalho com qualquer provedor de identidade que esteja em conformidade com a especificação OpenID Connect (OIDC) e que satisfaça os requisitos Google Cloud descritos em Prepare your external IdP. Os requisitos incluem:

• O provedor de identidade deve suportar OpenID Connect 1.0.
• Os metadados do OIDC e os terminais JWKS do provedor de identidade devem ser publicamente acessíveis pela Internet O Google Cloud usa esses terminais para fazer download do conjunto de chaves do provedor de identidade e usa esse conjunto de chaves para validar tokens.
• O provedor de identidade é configurado para que sua carga de trabalho possa obter tokens de ID que atendam a estes critérios:
  • Tokens são assinados com o algoritmo RS256 ou ES256 .
  • Tokens contêm uma solicitação de aud.

Para obter exemplos das etapas de configuração da federação de identidade de carga de trabalho para Amazon Web Services ( AWS ) e Microsoft Azure, consulte Exemplos de federação de identidade de carga de trabalho.

• Federação de identidade de carga de trabalho com conexão de token de acesso

  • Público do Security Token Service: o público do serviço de token de segurança que contém o ID do projeto, o ID do conjunto e o ID do provedor. Use este formato:

    //iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
    

    Para obter mais informações, consulte Autenticar uma carga de trabalho usando a API REST.

  • E-mail da conta de serviço: o endereço de e-mail da conta de serviço Google a ser personificado. Para obter mais informações, consulte Criar uma conta de serviço para a carga de trabalho externa.

  • Tempo de vida do token de conta de serviço (opcional): o tempo de vida em segundos do token de acesso da conta de serviço. O tempo de vida padrão de um token de acesso da conta do serviço é de uma hora Para obter mais informações, consulte Credenciais originadas de URL.

  • Formato do token: texto ou JSON com o nome do campo Token para o nome do campo na resposta JSON que contém o token.

  • Nome do campo de token: o nome do campo na resposta JSON que contém o token. Esse campo aparece apenas quando o Formato do Token é JSON

  • Tipo de token : AWS Solicitação de assinatura versão 4, Google OAuth 2.0 token de acesso, token de identificação, JSON Web Token (JWT) ou SAML 2.0.

  • Token de acesso : Um token de acesso do provedor de identidade para se conectar a Google BigQuery.

• Workload Identity Federation com token URL detalhes da conexão

  • Público do Security Token Service: o público do serviço de token de segurança que contém o ID do projeto, o ID do conjunto e o ID do provedor. Use este formato:

    //iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_ID
    

    Para obter mais informações, consulte Autenticar uma carga de trabalho usando a API REST.

  • E-mail da conta de serviço: o endereço de e-mail da conta de serviço Google a ser personificado. Para obter mais informações, consulte Criar uma conta de serviço para a carga de trabalho externa.

  • Tempo de vida do token de conta de serviço (opcional): o tempo de vida em segundos do token de acesso da conta de serviço. O tempo de vida padrão de um token de acesso da conta do serviço é de uma hora Para obter mais informações, consulte Credenciais originadas de URL.

  • Token URL : O URL para recuperar um token.

  • HTTP method : método HTTP a ser usado para a solicitação de token URL : GET, POST ou PUT.

  • Corpo da solicitação (para métodos POST ou PUT): O corpo da solicitação HTTP para recuperar um token.

  • HTTP cabeçalhos : HTTP cabeçalhos para a solicitação do token URL em JSON ou como um corpo JSON. Use o formato: "Key1"="Value1","Key2"="Value2"

  • Formato do token: texto ou JSON com o nome do campo Token para o nome do campo na resposta JSON que contém o token.

  • Nome do campo de token: o nome do campo na resposta JSON que contém o token. Esse campo aparece apenas quando o Formato do Token é JSON

  • Tipo de token : AWS Solicitação de assinatura versão 4, Google OAuth 2.0 token de acesso, token de identificação, JSON Web Token (JWT) ou SAML 2.0.

StreamSets

Escolha um método de autenticação e preencha os detalhes específicos necessários para cada método:

• Chave de conta (snippet JSON completo)

  • Credenciais : O conteúdo do arquivo (JSON) da chave da conta do serviço Google.

• Provedor de credenciais padrão

Permissões

A conexão com o Google BigQuery requer as permissões do BigQuery a seguir:

• bigquery.job.create
• bigquery.tables.get
• bigquery.tables.getData

Use uma de três maneiras de ganhar essas permissões:

• Use a função predefinida do BigQuery Cloud IAM bigquery.admin, que inclui estas permissões;
• Use uma combinação de duas funções, uma de cada coluna na tabela a seguir; ou
• Criar uma função customizada. Consulte Criar e gerenciar funções personalizadas.

Para obter mais informações sobre permissões e funções em Google BigQuery, consulte Funções e permissões predefinidas.