Microsoft Azure Data Lake Storage conexão

Para acessar seus dados no Microsoft Azure Data Lake Storage, crie um recurso de conexão para eles.

Azure O Data Lake Storage (ADLS) é um serviço escalável de armazenamento e análise de dados hospedado n Azure, a nuvem pública da Microsoft. A conexão do Microsoft Azure Data Lake Storage permite o acesso aos repositórios de armazenamento do Data Lake, tanto em Gen1 quanto em Gen2Azure.

Crie uma conexão com Microsoft Azure Data Lake Storage

Para criar o recurso de conexão, você precisará destes detalhes de conexão, de acordo com a sua implantação:

Conectividade comum

  • WebHDFS URL : O WebHDFS URL para acessar HDFS.
    Para se conectar a um ADLS de 2ª geração, use o formato: https://<account-name>.dfs.core.windows.net/<file-system>
    Onde <account-name> é o nome que você usou ao criar a instância do ADLS.
    Para isso <file-system>, use o nome do contêiner que você criou. Para obter mais informações, consulte a documentação do Microsoft Data Lake Storage Gen2.

Selecione "Proxy do servidor" para acessar a fonte de dados Microsoft Azure Data Lake Storage por meio de um servidor proxy. Dependendo da configuração, um servidor proxy pode oferecer balanceamento de carga, maior segurança e privacidade. As configurações do servidor proxy são independentes das credenciais de autenticação e da escolha entre credenciais pessoais ou compartilhadas. As configurações do servidor proxy não podem ser armazenadas em um cofre.

  • Servidor proxy : O proxy URL. Por exemplo, https://proxy.example.com.
  • Número da porta do proxy : O número da porta para se conectar ao servidor proxy. Por exemplo, 8080 ou 8443.
  • Protocolo de proxy : O protocolo do servidor proxy. Você pode escolher um dos dois protocolos: HTTP ou HTTPS.
  • Comunicação por proxy criptografada : Se você escolher a opção “ HTTP ”, poderá ativar essa opção. Esta opção habilita o tunelamento em camadas para a comunicação via proxy do tipo “ HTTP ” se o servidor de destino for compatível com o protocolo “ HTTPS ” e o proxy estiver configurado para tunelamento criptografado.
  • Sem proxy : uma lista de hosts separados por vírgulas para ignorar o proxy configurado na conexão.

Credenciais

Você dispõe de métodos de autenticação específicos, dependendo da sua implantação:

Observação:Pré-requisito para a autenticação Entra ID:

O Microsoft Entra ID é um serviço de gerenciamento de identidade e acesso baseado na nuvem. Para obter os valores de conexão para o método de autenticação Entra ID, faça login no portal Microsoft Azure e acesse sua conta de armazenamento. Para obter informações sobre o Microsoft Entra ID, consulte O que é o Microsoft Entra ID?.

Conectividade comum

Escolha o método de autenticação:

Credenciais do cliente

  • ID do locatário : O ID do locatário do Microsoft Entra. Para encontrar o ID do locatário, acesse Microsoft Entra ID > Propriedades. Role a tela até o campo “ID do locatário ”. Para obter mais informações, consulte Como encontrar o ID do seu locatário do Microsoft Entra.
  • ID do cliente : O ID do cliente para autorizar o acesso a Microsoft Azure Data Lake Storage. Para encontrar o ID do cliente da sua aplicação, selecione Microsoft Entra ID. Em “Registros de aplicativos”, selecione seu aplicativo. Clique em “Copiar” para copiar o ID do cliente do seu aplicativo. Para obter mais informações, consulte Registrar um aplicativo do Microsoft Entra e criar uma entidade de serviço.
  • Segredo do cliente : a chave de autenticação associada ao ID do cliente para autorizar o acesso a Microsoft Azure Data Lake Storage. Para encontrar o segredo do cliente da sua aplicação, selecione Microsoft Entra ID. Em “Registros de aplicativos”, selecione seu aplicativo. Vá para Certificados e segredos > Segredos do cliente. Clique em “Copiar” para copiar o segredo do cliente existente ou clique em “Novo segredo do cliente” para criar um novo segredo do cliente e copiá-lo. Para obter mais informações, consulte Registrar um aplicativo do Microsoft Entra e criar uma entidade de serviço.

Nome de Usuário e Senha

  • ID do locatário : O ID do locatário do Microsoft Entra. Para encontrar o ID do locatário, acesse Microsoft Entra ID > Propriedades. Role a tela até o campo “ID do locatário ”. Para obter mais informações, consulte Como encontrar o ID do seu locatário do Microsoft Entra.
  • ID do cliente: O ID do cliente para autorizar o acesso a Microsoft Azure Data Lake Storage. Para encontrar o ID do cliente da sua aplicação, selecione Microsoft Entra ID. Em “Registros de aplicativos”, selecione seu aplicativo. Clique em “Copiar” para copiar o ID do cliente do seu aplicativo. Para obter mais informações, consulte Registrar um aplicativo do Microsoft Entra e criar uma entidade de serviço.
  • Nome de usuário e senha : Nome de usuário e senha da conta Microsoft Azure Data Lake Storage. Você precisa de permissão para acessar o arquivo sem autenticação multifatorial.

Certificados

  • SSL certificado : O certificado de assinatura de domínio ( SSL ) do host, no qual se deve confiar quando o certificado do host não tiver sido assinado por uma autoridade certificadora conhecida.

Para credenciais, você pode usar segredos se um cofre estiver configurado para a plataforma e o serviço for compatível com cofres. Para obter mais informações, consulte “Usando segredos de cofres nas conexões ”.

Conformidade com as Normas Federais de Processamento de Informações (FIPS)

Essa conexão está em conformidade com a norma FIPS e pode ser usada em um cluster compatível com FIPS.

Azure Configuração da autenticação no Data Lake Storage

Para configurar a autenticação, você precisa de um ID de locatário, um ID de cliente (ou de aplicativo) e um segredo de cliente.

Tipos de arquivo suportados

A conexão do Microsoft Azure Data Lake Storage é compatível com os seguintes tipos de arquivo: Avro, CSV, texto delimitado, Excel, JSON, ORC, Parquet, SAS, SAV, SHP e XML.

Formatos de tabela

Além do arquivo simples, a conexão do Microsoft Azure Data Lake Storage é compatível com os seguintes formatos de tabela do Data Lake: Delta Lake e Iceberg.

Saiba mais