HBase est une base de données en temps réel au sein de l'écosystème Hadoop, offrant des performances d'écriture élevées. OSS-HDFS, également connu sous le nom de service JindoFS, est un service de stockage Alibaba Cloud compatible avec l'API HDFS. Alibaba Cloud E-MapReduce (EMR) permet à HBase d'utiliser OSS-HDFS comme couche de stockage sous-jacente et prend en charge le stockage des fichiers journaux de pré-écriture (WAL). Cette configuration assure la séparation du stockage et du calcul.
Prérequis
Vous avez créé un cluster EMR de version EMR-3.42.0 ou ultérieure, ou EMR-5.8.0 ou ultérieure, et vous avez sélectionné le composant HBase lors de la création du cluster. Pour plus d'informations, consultez Créer un cluster.
Vous avez activé OSS-HDFS et accordé les permissions requises. Pour plus d'informations, consultez Activer OSS-HDFS.
Procédure
-
Connectez-vous au cluster EMR.
Accédez à la console EMR on ECS.
Cliquez sur le cluster EMR cible.
Cliquez sur l'onglet Nodes, puis cliquez sur l'icône
située à gauche du groupe de nœuds.Cliquez sur l'ID ECS. Sur la page de l'instance ECS, cliquez sur Connect à droite de l'ID ECS.
Pour vous connecter au cluster depuis un environnement Windows ou Linux à l'aide d'une paire de clés SSH ou d'un mot de passe, consultez Se connecter à un cluster.
-
Spécifiez un chemin de stockage pour HBase.
Pour définir un chemin dans OSS comme emplacement de stockage des données et des fichiers WAL dans HBase, vous devez modifier la valeur du paramètre hbase.rootdir dans le fichier de configuration hbase-site afin qu'il pointe vers le chemin OSS. Le format du chemin est le suivant :
oss://bucket.endpoint/hbase-root-dir.ImportantAvant de libérer les clusters, vous devez désactiver les tables et vous assurer que toutes les opérations de mise à jour effectuées sur les fichiers WAL sont synchronisées avec les fichiers HFile.