Microsoft Azure Data Lake Storage connexion
Pour accéder à vos données dans l' Microsoft Azure Data Lake Storage, créez une ressource de connexion pour celles-ci.
Azure Data Lake Storage (ADLS) est un service évolutif de stockage et d'analyse de données hébergé sur Azure, le cloud public de Microsoft. La connexion « Microsoft Azure Data Lake Storage » prend en charge l'accès aux référentiels de stockage «Data Lake Storage» Gen1 et Gen2Azure.
Établir une connexion à Microsoft Azure Data Lake Storage
Pour créer la ressource de connexion, vous avez besoin des informations de connexion suivantes, en fonction de votre déploiement :
Connectivité courante
- WebHDFS URL : WebHDFS URL pour accéder à HDFS.
Pour vous connecter à un ADLS de 2e génération, utilisez le format suivant :https://<account-name>.dfs.core.windows.net/<file-system>
Où<account-name>correspond au nom que vous avez utilisé lors de la création de l'instance ADLS.
Pour<file-system>, utilisez le nom du conteneur que vous avez créé. Pour plus d'informations, consultez la documentation relative à Microsoft Data Lake Storage Gen2.
Sélectionnez « Serveur proxy » pour accéder à la source de données Microsoft Azure Data Lake Storage via un serveur proxy. Selon la configuration, un serveur proxy peut assurer l'équilibrage de charge, renforcer la sécurité et préserver la confidentialité. Les paramètres du serveur proxy sont indépendants des identifiants d'authentification et du choix entre identifiants personnels ou partagés. Les paramètres du serveur proxy ne peuvent pas être enregistrés dans un coffre-fort.
- Serveur proxy : l' URL du proxy. Par exemple,
https://proxy.example.com. - Numéro de port du proxy : le numéro de port permettant de se connecter au serveur proxy. Par exemple,
8080ou8443. - Protocole proxy : le protocole du serveur proxy. Vous pouvez choisir l'un des deux protocoles suivants : HTTP ou HTTPS.
- Communication via un proxy crypté : si vous choisissez « HTTP », vous pouvez activer cette option. Cette option active le tunneling en couches pour la communication via le proxy « HTTP » si le serveur cible prend en charge le protocole HTTPS et si le proxy est configuré pour le tunneling chiffré.
- Pas de proxy : liste d'hôtes séparés par des virgules à exclure du proxy configuré pour la connexion.
Données d'identification
Vous disposez de méthodes d'authentification spécifiques en fonction de votre déploiement :
Microsoft Entra ID est un service de gestion des identités et des accès basé sur le cloud. Pour obtenir les paramètres de connexion relatifs à la méthode d'authentification Entra ID, connectez-vous au portail Microsoft Azure et accédez à votre compte de stockage. Pour plus d'informations sur Microsoft Entra ID, consultez la page « Qu'est-ce que Microsoft Entra ID? ».
Connectivité courante
Choisissez la méthode d'authentification :
Données d'identification du client
- ID du tenant : l'ID du tenant Microsoft Entra. Pour trouver l'ID du locataire, accédez à Microsoft Entra ID > Propriétés. Faites défiler vers le bas jusqu'au champ « Identifiant du locataire ». Pour plus d'informations, consultez la section « Comment trouver l'ID de votre tenant Microsoft Entra ».
- Identifiant client : l'identifiant client permettant d'autoriser l'accès à Microsoft Azure Data Lake Storage. Pour trouver l'ID client de votre application, sélectionnez Microsoft Entra ID. Dans la section « Enregistrements d'applications », sélectionnez votre application. Cliquez sur « Copier » pour copier l'identifiant client de votre application. Pour plus d'informations, consultez la section « Enregistrer une application Microsoft Entra et créer un principal de service ».
- Secret client : clé d'authentification associée à l'identifiant client permettant d'autoriser l'accès à Microsoft Azure Data Lake Storage. Pour trouver le secret client de votre application, sélectionnez Microsoft Entra ID. Dans la section « Enregistrements d'applications », sélectionnez votre application. Accédez à Certificats et secrets > Secrets client. Cliquez sur « Copier » pour copier le secret client existant ou cliquez sur « Nouveau secret client » pour en créer un nouveau et le copier. Pour plus d'informations, consultez la section « Enregistrer une application Microsoft Entra et créer un principal de service ».
Nom d'utilisateur et mot de passe
- ID du tenant : l'ID du tenant Microsoft Entra. Pour trouver l'ID du locataire, accédez à Microsoft Entra ID > Propriétés. Faites défiler vers le bas jusqu'au champ « Identifiant du locataire ». Pour plus d'informations, consultez la section « Comment trouver l'ID de votre tenant Microsoft Entra ».
- Identifiant client : l'identifiant client permettant d'autoriser l'accès à Microsoft Azure Data Lake Storage. Pour trouver l'ID client de votre application, sélectionnez Microsoft Entra ID. Dans la section « Enregistrements d'applications », sélectionnez votre application. Cliquez sur « Copier » pour copier l'identifiant client de votre application. Pour plus d'informations, consultez la section « Enregistrer une application Microsoft Entra et créer un principal de service ».
- Nom d'utilisateur et mot de passe : nom d'utilisateur et mot de passe du compte Microsoft Azure Data Lake Storage. Vous devez disposer des droits d'accès nécessaires pour consulter ce fichier sans authentification multifactorielle.
Certificats
- SSL certificat : le certificat de l' SSL, qui doit être considéré comme fiable lorsque le certificat de l'hôte n'a pas été signé par une autorité de certification connue.
Pour les identifiants, vous pouvez utiliser des secrets si un coffre-fort est configuré pour la plateforme et si le service prend en charge les coffres-forts. Pour plus d'informations, consultez la section « Utilisation des secrets provenant de coffres-forts dans les connexions ».
Conformité aux normes fédérales de traitement de l'information (FIPS)
Cette connexion est conforme à la norme FIPS et peut être utilisée sur un cluster compatible FIPS.
Azure Configuration de l'authentification pour le stockage Data Lake
Pour configurer l'authentification, vous avez besoin d'un identifiant de locataire, d'un identifiant de client (ou d'application) et d'un secret de client.
- Gen1:
- Créez une application web « Azure Active Directory » ( Azure AD), puis récupérez un identifiant d'application, une clé d'authentification et un identifiant de locataire.
- Vous devez ensuite associer l'application AD « Azure » au fichier ou au dossier du compte de stockage Data Lake « Azure ». Suivez les étapes 1, 2 et 3 décrites dans la section « Authentification de service à service avec Data Lake Storage d' Azure à l'aide d' Azure » disponible à l'adresse Active Directory.
- Gen2:
- Suivez les instructions de la section « Obtenir un jeton auprès d'un service d'annonces d' Azure » pour autoriser les requêtes provenant d'une application cliente. Ces étapes permettent de créer une nouvelle identité. Une fois l'identité créée, configurez les autorisations afin de permettre à l'application d'accéder à votre ADLS. La connexion à l' Microsoft Azure Data Lake Storage utilisera l'ID client, le secret client et l'ID de locataire associés à l'application.
- Autorisez l'application « Azure » à accéder au conteneur de stockage à l'aide de Storage Explorer. Pour plus d'informations, consultez la page « Utiliser l'Explorateur d' Azure Storage s pour gérer les répertoires et les fichiers dans Azure Data Lake Storage » à l'adresse Gen2.
Types de fichiers pris en charge
La connexion « Microsoft Azure Data Lake Storage » prend en charge les types de fichiers suivants : Avro, CSV, texte délimité, Excel, JSON, ORC, Parquet, SAS, SAV, SHP et XML.
Formats de table
Outre les fichiers plats, la connexion à l' Microsoft Azure Data Lake Storage prend en charge les formats de tables de lac de données suivants : Delta Lake et Iceberg.