Conexão do Google Cloud Storage
Para acessar seus dados no Google Cloud Storage, crie um recurso de conexão para ele.
Google Cloud Storage é um serviço da web para armazenamento de arquivos on-line e acesso a dados na Google Cloud Platform Infrastructure.
Crie uma conexão com o Google Cloud Storage
Conectividade comum
Para criar o ativo de conexão para conectividade comum, você precisa dos seguintes detalhes de conexão:
- ID do projeto : A ID do projeto Google.
- Servidor proxy (opcional)
Selecione Servidor proxy para acessar a fonte de dados Google Cloud Storage por meio de um servidor proxy HTTPS. Dependendo de sua configuração, um servidor proxy pode fornecer balanceamento de carga, maior segurança e privacidade. As configurações do servidor proxy são independentes das credenciais de autenticação e da seleção de credenciais pessoais ou compartilhadas. É possível fornecer um certificado de " SSL " para maior segurança.
- Host do proxy : o nome do host ou endereço IP do servidor proxy. Por exemplo,
proxy.example.comou192.0.2.0. - Porta do proxy : O número da porta para conexão com o servidor proxy. Por exemplo,
8080ou8443. - Nome de usuário proxy e Senha proxy.
- Protocolo de proxy : O protocolo do servidor proxy. Selecione HTTP ou HTTPS.
StreamSets
Para criar o ativo de conexão para StreamSets,, você precisa dos seguintes detalhes de conexão:
- ID do projeto : A ID do projeto Google.
Credenciais
Você tem métodos de autenticação específicos com base em sua implementação:
Conectividade comum
Métodos de autenticação para conectividade comum:
Chave de conta (snippet JSON completo)
- Credenciais : O conteúdo do arquivo JSON da chave da conta de serviço Google.
ID do cliente, segredo do cliente, token de acesso e token de atualização
- ID do cliente : O ID do cliente do serviço de gerenciamento de dispositivos ( OAuth ).
- Segredo do cliente : O segredo do cliente do OAuth.
- Token de acesso : Um token de acesso que pode ser usado para se conectar a Google Cloud Storage.
- Token de atualização : Um token de atualização a ser usado para atualizar o acesso.
Com federação de identidade de carga de trabalho
Você usa um provedor de identidade externo (IdP) para autenticação. Um provedor de identidade externo usa o Identity and Access Management (IAM) em vez de chaves de conta do serviço... O IAM fornece segurança aumentada e gerenciamento centralizado Você pode usar a autenticação da federação de identidade da carga de trabalho com um token de acesso ou com um token URL.
Você pode configurar uma conexão Google BigQuery para federação de identidade de carga de trabalho com qualquer provedor de identidade que esteja em conformidade com a especificação OpenID Connect (OIDC) e que atenda aos requisitos Google Cloud descritos em Preparar seu IdP externo . Os requisitos incluem:
- O provedor de identidade deve suportar OpenID Connect 1.0.
- Os metadados OIDC e os terminais JWKS do provedor de identidade devem ser publicamente acessíveis pela internet. O Google Cloud usa esses terminais para fazer download do conjunto de chaves do provedor de identidade e usa esse conjunto de chaves para validar tokens.
- O provedor de identidade é configurado para que sua carga de trabalho possa obter tokens de ID que atendam a estes critérios:
- Tokens são assinados com o algoritmo RS256 ou ES256 .
- Tokens contêm uma solicitação de aud.
Para obter exemplos das etapas de configuração da federação de identidade de carga de trabalho para Amazon Web Services ( AWS ) e Microsoft Azure, consulte Exemplos de federação de identidade de carga de trabalho.
Federação de identidade de carga de trabalho com token de acesso
Token de acesso: um token de acesso do provedor de identidade para conectar ao BigQuery.
Público do Security Token Service: o público do serviço de token de segurança que contém o ID do projeto, o ID do conjunto e o ID do provedor. Use este formato:
//iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_IDPara obter mais informações, consulte Autenticar uma carga de trabalho usando a API REST .
E-mail da conta de serviço: o endereço de e-mail da conta de serviço Google a ser personificado. Para obter mais informações, consulte Criar uma conta de serviço para a carga de trabalho externa .
Existência do token da conta de serviço (opcional): o tempo de vida em segundos do token de acesso da conta de serviço. O tempo de vida padrão de um token de acesso da conta de serviço é de uma hora Para obter mais informações, consulte Credenciais originadas de URL.
Formato do token: texto ou JSON com o nome do campo Token para o nome do campo na resposta JSON que contém o token.
Nome do campo de token: o nome do campo na resposta JSON que contém o token. Esse campo aparece apenas quando o Formato do Token é JSON
Tipo de token : AWS Solicitação de assinatura versão 4, Google OAuth 2.0 token de acesso, token de identificação, JSON Web Token (JWT) ou SAML 2.0.
Federação de identidade de carga de trabalho com URL de token
Público do Security Token Service: o público do serviço de token de segurança que contém o ID do projeto, o ID do conjunto e o ID do provedor. Use este formato:
//iam.googleapis.com/projects/PROJECT_NUMBER/locations/global/workloadIdentityPools/POOL_ID/providers/PROVIDER_IDPara obter mais informações, consulte Autenticar uma carga de trabalho usando a API REST .
E-mail da conta de serviço: o endereço de e-mail da conta de serviço Google a ser personificado. Para obter mais informações, consulte Criar uma conta de serviço para a carga de trabalho externa .
Existência do token da conta de serviço (opcional): o tempo de vida em segundos do token de acesso da conta de serviço. O tempo de vida padrão de um token de acesso da conta de serviço é de uma hora Para obter mais informações, consulte Credenciais originadas de URL.
Token URL : O URL para recuperar um token.
HTTP method : HTTP método a ser usado para a solicitação de token URL : GET, POST ou PUT.
Corpo da solicitação (para métodos POST ou PUT): O corpo da solicitação HTTP para recuperar um token.
HTTP cabeçalhos : HTTP cabeçalhos para a solicitação do token URL em JSON ou como um corpo JSON. Use o formato:
"Key1"="Value1","Key2"="Value2"Formato do token: texto ou JSON com o nome do campo Token para o nome do campo na resposta JSON que contém o token.
Nome do campo de token: o nome do campo na resposta JSON que contém o token. Esse campo aparece apenas quando o Formato do Token é JSON
Tipo de token : AWS Solicitação de assinatura versão 4, Google OAuth 2.0 token de acesso, token de identificação, JSON Web Token (JWT) ou SAML 2.0.
StreamSets
Métodos de autenticação para StreamSets:
Caminho do arquivo JSON da chave da conta
- Caminho do arquivo de credenciais (JSON) : Caminho para o arquivo de credenciais.
Chave de conta (snippet JSON completo)
- Credenciais : O conteúdo do arquivo JSON da chave da conta de serviço Google.
Provedor de credenciais padrão
Tipos de Arquivo Suportados
A conexão do Google Cloud Storage é compatível com esses tipos de arquivo: Avro, CSV, texto delimitado, Excel, JSON, ORC, Parquet, SAS, SAV, SHP e XML.
Formatos de tabela
A conexão Google Cloud Storage é compatível com estes formatos de tabela do Data Lake: Delta Lake e Iceberg.