Conexão do Amazon S3

Para acessar dados na Amazon S3, crie um ativo de conexão para ela.

Amazon S3 ( Amazon Simple Storage Service ) é um serviço da Amazon Web Services ( AWS ) que fornece armazenamento de objetos por meio de uma interface de serviço da Web.

Para outros tipos de conexões S3-compliant , é possível usar a conexão Genérica S3..

Criando uma conexão com a Amazon S3

Para criar o ativo de conexão, você precisa desses detalhes de conexão com base em sua implantação:

Conectividade comum

  • Depósito: nome do depósito que contém os arquivos. Se suas credenciais AWS tiverem permissões para listar buckets e acessar todos os buckets, você só precisará fornecer as credenciais. Se suas credenciais não tiverem privilégios para listar buckets e puderem acessar apenas um bucket específico, será necessário especificar o bucket.

  • Região: Amazon Web Services (AWS) região. Se você especificar um Endpoint URL que não seja para a região padrão AWS ( us-west-2 ), insira um valor para Region.

Selecione Proxy do servidor para acessar a fonte de dados Amazon S3 através de um servidor proxy. Dependendo de sua configuração, um servidor proxy pode fornecer balanceamento de carga, maior segurança e privacidade. As configurações do servidor proxy são independentes das credenciais de autenticação e da seleção de credenciais pessoais ou compartilhadas.

  • Host do proxy : o proxy URL. Por exemplo, https://proxy.example.com.
  • Número da porta de Proxy: O número da porta para conectar ao servidor proxy. Por exemplo, 8080 ou 8443.
  • Os campos Nome de usuário Proxy e Senha Proxy são opcionais.

Credenciais

Escolha seus métodos de autenticação com base em sua implementação:

Conectividade comum

Escolha o método de autenticação:

Credenciais básicas

  • Chave de acesso : O ID da chave de acesso (nome de usuário) para autorizar o acesso a AWS.
  • Chave secreta : A senha que está associada ao ID da chave de acesso para autorizar o acesso a AWS.

Credenciais temporárias

  • Chave de acesso : O ID da chave de acesso (nome de usuário) para autorizar o acesso a AWS.
  • Chave secreta : A senha que está associada ao ID da chave de acesso para autorizar o acesso a AWS.
  • Token de sessão : O token de sessão para a credencial temporária.

Credenciais de papeis confiáveis

  • Chave de acesso : O ID da chave de acesso (nome de usuário) para autorizar o acesso a AWS.
  • Chave secreta : A senha que está associada ao ID da chave de acesso para autorizar o acesso a AWS.
  • ARN de função : O Amazon Resource Name (ARN) da função que a conexão assume.
  • Nome da sessão de função : um nome para identificar a sessão para os administradores do site S3. Por exemplo, você pode usar seu nome de IAM.
  • ID externa : a ID externa da organização que usará a função.
  • Duração segundos : A duração em segundos das credenciais de segurança temporárias.

Para instruções de configuração para o proprietário da conta do Amazon S3, consulte Configurando credenciais temporárias ou um ARN de Função para o Amazon S3.

StreamSets

Escolha o método de autenticação:

Credenciais básicas

  • Chave de acesso : O ID da chave de acesso (nome de usuário) para autorizar o acesso a AWS.
  • Chave secreta : A senha que está associada ao ID da chave de acesso para autorizar o acesso a AWS.

Perfil da instância

Use as credenciais da instância StreamSets.

Credenciais de papeis confiáveis

  • Chave de acesso : O ID da chave de acesso (nome de usuário) para autorizar o acesso a AWS.
  • Chave secreta : A senha que está associada ao ID da chave de acesso para autorizar o acesso a AWS.
  • ARN de função : O Amazon Resource Name (ARN) da função que a conexão assume.
  • Nome da sessão de função : um nome para identificar a sessão para os administradores do site S3. Por exemplo, você pode usar seu nome de IAM.
  • ID externa : a ID externa da organização que usará a função.
  • Duração segundos : A duração em segundos das credenciais de segurança temporárias.
  • Definir tags de sessão : Opcional. Cria tags de sessão na política de IAM que exige que o usuário que inicia o trabalho seja capaz de assumir a função especificada.
  • Região para STS : Se você ativar a opção Definir tags de sessão, poderá especificar a região das tags de sessão.
  • Ponto de extremidade URL para STS : Se você ativar a opção Definir tags de sessão, poderá especificar o ponto de extremidade URL para as tags de sessão.

Depois de configurar o método de autenticação, defina os seguintes parâmetros:

  • Tempo limite da conexão : Segundos antes do tempo limite da conexão.
  • Tempo limite do soquete : Segundos antes de o soquete atingir o tempo limite.
  • Contagem de tentativas : Número máximo de tentativas de repetição para uma solicitação com falha.

Configuração do Amazon S3

Consulte Guia do usuário da Amazon Simple Storage Service para as etapas de configuração.

Restrição

Pastas não podem ser nomeadas com o símbolo de barra (/) porque o símbolo de barra é um delimitador para a estrutura do arquivo.

Tipos de Arquivo Suportados

A conexão Amazon S3 é compatível com formatos de arquivos estruturados e não estruturados.

A conexão suporta os seguintes tipos de arquivos estruturados: Avro, CSV, texto delimitado, Excel, JSON, ORC, Parquet, SAS, SAV, SHP e XML.

A conexão suporta modos de leitura e gravação de dados binários. Esses modos podem ser usados para ler e gravar formatos de dados não estruturados, como: DOC, DOCX, MD, PDF, PPT, PPTX e TXT.

Formatos de tabela

Além do arquivo plano, a conexão Amazon S3 é compatível com os seguintes formatos de tabela do Data Lake: Delta Lake e Iceberg.

Saiba Mais

Conexão relacionada: Conexão S3 genérica