Apache HBase connexion

Pour accéder à vos données dans Apache HBase, créez un élément de connexion pour celles-ci.

Apache HBase est un système de gestion de base de données non relationnelle orientée colonnes qui s'exécute sur le système de Hadoop fichiers distribué ( HDFS ). Cette connexion n'est disponible que pour le service DataStage.

Version prise en charge

Apache HBase 2.4.13

Prérequis

La Apache HBase connexion nécessite l'installation du client HBase. La connexion nécessite également des informations provenant de deux fichiers XML. Si vous utilisez Kerberos l'authentification, vous devez configurer Kerberos à l'avance.

Conditions préalables à Kerberos l'authentification

Si vous prévoyez d'utiliser Kerberos l'authentification, remplissez les conditions suivantes :

Installez le client HBase

  1. Connectez-vous à Cloud Pak for Data avec une commande oc.

  2. Téléchargez le client HBase à partir de https://hbase.apache.org/downloads.html. Veillez à suivre les instructions de vérification.

    wget https://dlcdn.apache.org/hbase/2.5.8/hbase-2.5.8-bin.tar.gz

  3. Extrayez le fichier compressé.

    tar -zxvf hbase-2.5.8-bin.tar.gz

  4. Si un autre client HBase a été précédemment ajouté manuellement à une instance, supprimez ce client. Ignorez cette étape si aucun client n'a été ajouté auparavant.

    #!/bin/bash

# Update to the desired instance.
INSTANCE=ds-px-default

POD=$(oc get pods |grep ${INSTANCE} |cut -d" " -f1 |head -n 1)
echo "Cleaning up HbaseClient for instance ${INSTANCE} via Pod $POD"

# rm client files
oc exec ${POD} -- rm -fr /px-runtime/HbaseClient

# rm sym link
oc exec ${POD} -- rm -fr /opt/ibm/PXService/HbaseClient

  5. Remplissez le moteur avec le contenu du répertoire /lib extrait du client.

    #!/bin/bash

# Update to the desired instance.
INSTANCE=ds-px-default

PODS=$(oc get pods |grep ${INSTANCE} |cut -d" " -f1)
POD=$(echo "${PODS}" |head -n 1)

SOURCE=<absolute path to the extracted client>/hbase-2.5.8/lib

oc cp ${SOURCE} ${POD}:px-runtime/HbaseClient/

oc delete pod ${PODS}

  6. Redémarrez les pods et vérifiez que le dossier /opt/ibm/PXService/HbaseClient contient bien les fichiers.jar.

    #!/bin/bash
# Update to the desired instance.
INSTANCE=ds-px-default
POD=$(oc get pods |grep ${INSTANCE} |cut -d" " -f1 |head -n 1)
oc exec ${POD} -- ls /opt/ibm/PXService/HbaseClient |head -n 5

Exigences relatives aux fichiers XML

Deux fichiers XML sont nécessaires pour se connecter au Apache HBase serveur : hbase-site.xml et core-site.xml. Ces fichiers contiennent les informations nécessaires pour se connecter à la base de données HBase cible, telles que le ZooKeeper quorum, le port et le znode parent. Vous pouvez utiliser l'une des deux méthodes suivantes pour fournir les fichiers :

  • Contenu du fichier : Entrez les valeurs des fichiers dans le formulaire de connexion.
  • Chemin d'accès aux fichiers : copiez les fichiers sur le Cloud Pak for Data cluster, puis entrez les chemins d'accès aux fichiers dans le formulaire de connexion.

Si vous choisissez Chemin d'accès au fichier, connectez-vous à Cloud Pak for Data en tant qu'administrateur, puis utilisez la commande oc cp pour copier les deux fichiers vers un volume monté auquel tous les pods d'exécution peuvent accéder.

Syntaxe :

oc cp {SRC_XML_FILE_PATH} {POD_NAME}:{TGT_XML_FILE_PATH}

Exemple :

oc cp /tmp/core-site.xml my-pod-32:/tmp/core-site.xml

Enregistrez les chemins d'accès à chaque fichier XML. Vous les saisirez dans le champ hbase-site.xml chemin d'accès et le champ core-site.xml chemin d'accès du formulaire Créer une connexion.

Kerberos Configuration

Si vous prévoyez d'utiliser Kerberos l'authentification, vous devez copier le krb5.conf fichier du Kerberos cluster vers le Cloud Pak for Data cluster. Dans le Kerberos cluster, le krb5.conf fichier se trouve généralement dans le /etc/krb5.conf chemin d'accès. Pour les informations d'identification, vous avez le choix entre un mot de passe ou un fichier keytab. Si vous prévoyez d'utiliser un fichier keytab, vous devez également copier le keytab fichier du Kerberos serveur vers le Cloud Pak for Data cluster.

Connectez-vous en Cloud Pak for Data tant qu'administrateur, puis utilisez la commande oc cp pour copier les fichiers vers un volume monté auquel tous les pods d'exécution peuvent accéder.

Enregistrez les chemins d'accès à chaque fichier. Vous les saisirez dans le champ krb5.conf Emplacement et le champ Keytab du formulaire Créer une connexion.

Créer une connexion vers Apache HBase

Pour créer la ressource de connexion, vous avez besoin des informations de connexion suivantes :

  • Hadoop identity (facultatif) : identifiant unique du cluster Hadoop.

  • Identité HBase (facultatif) : identifiant unique du cluster HBase.

  • Mode fichier XML : méthode permettant de fournir le core-site.xml fichier et le hbase-site.xml fichier. Sélectionnez l'une des méthodes suivantes pour fournir les informations :

    • Contenu du fichier : Entrez le contenu du fichier core-site.xml et du hbase-site.xml fichier.
    • Chemin d'accès au fichier : indiquez l'emplacement du core-site.xml fichier et du hbase-site.xml fichier dans les nœuds. Par exemple, /px-storage/hbase/hbase-site.xml et /px-storage/hbase/core-site.xml.

Pour les informations d'identification, vous pouvez utiliser des secrets si un coffre-fort est configuré pour la plateforme et si le service prend en charge les coffres-forts. Pour plus d'informations, consultez la section Utilisation des secrets des coffres-forts dans les connexions.

Méthodes d'authentification

Vous pouvez vous authentifier avec l'authentification simple ou avec Kerberos.

  • Nom d'utilisateur pour l'authentification simple : l'authentification simple est une couche d'authentification et de sécurité simple (SASL). Entrez un nom d'utilisateur qui permettra d'accéder Apache HBase à un cluster non sécurisé.

Sélectionnez Kerberos si le Apache HBase cluster est configuré pour Kerberos.

  • krb5.conf emplacement : spécifiez l'emplacement du krb5.conf fichier accessible sur chaque nœud de Cloud Pak for Data l'instance. Par exemple, /px-storage/username/hbase/krb5.conf.

  • Principal : principal utilisateur configuré pour accéder au Apache HBase serveur configuré pour Kerberos. L'administrateur Kerberos crée des entités utilisateur dans le Kerberos serveur. Le nom principal de l'utilisateur comporte trois éléments : Primaire, Instance et Domaine. Le composant Instance est facultatif. Un nom d'utilisateur principal valide est user@example.com.

Sélectionnez si vous souhaitez utiliser un mot de passe ou un fichier keytab pour Kerberos l'authentification.

  • Kerberos avec mot de passe

    • Entrez une valeur pour le mot de passe.
    • Sélectionnez Utiliser le cache de tickets si vous souhaitez utiliser le ticket existant stocké dans le cache d'informations d'identification. Fournissez un emplacement de cache de tickets accessible sur chaque nœud. Vous devez exécuter la commande kinit sur chaque nœud au lieu de copier le cache. Si vous n'utilisez pas le cache de tickets, la connexion utilisera l'emplacement par défaut spécifié dans le krb5.conf fichier. Si la connexion à partir du cache échoue, la connexion s'effectuera à l'aide du mot de passe.

  • Kerberos avec keytab

    • Keytab : Indiquez un emplacement keytab accessible sur chaque nœud. Par exemple, /px-storage/username/hbase.keytab.

Conformité aux normes FIPS (Federal Information Processing Standards)

Cette connexion ne peut pas être établie dans un environnement FIPS.

Apache HBase configuration

Démarrage rapide - HBase autonome

Tester la connexion

Si vous utilisez la méthode de saisie Chemin d'accès au fichier et que vous souhaitez pouvoir tester la Apache HBase connexion, copiez les fichiers hbase-site.xml core-site.xml et dans le répertoire situé sous /ds-storage. Par exemple :

/ds-storage/hbase/hbase-site.xml
/ds-storage/hbase/core-site.xml

Restrictions

  • Si vous exportez les ressources du projet ou téléchargez un flux qui inclut la Apache HBase connexion sous forme de fichier ZIP, les fichiers hbase-site.xml core-site.xml et ne seront pas inclus. Vous devez saisir à nouveau les valeurs des fichiers ou leurs chemins d'accès pour la connexion. Voir les Kerberos conditions préalables à la configuration.
  • La prévisualisation des données et l'utilisation du navigateur d'actifs pour parcourir les métadonnées ne fonctionnent pas pour la Apache HBase connexion.

En savoir plus