O HBase é um banco de dados em tempo real no ecossistema Hadoop que oferece alto desempenho de gravação. O OSS-HDFS, também conhecido como o service JindoFS, é um service de armazenamento da alibaba cloud compatível com a API HDFS. O alibaba cloud E-MapReduce (EMR) permite que o HBase utilize o OSS-HDFS como armazenamento subjacente e suporta o armazenamento de arquivos de write-ahead log (WAL). Essa configuração proporciona a separação entre armazenamento e computação.
Pré-requisitos
crie um cluster EMR na versão EMR-3.42.0 ou posterior, ou EMR-5.8.0 ou posterior, e selecione o componente HBase durante a criação do cluster. Para mais informações, consulte crie um cluster.
ative o OSS-HDFS e conceda as permissões necessárias. Para mais informações, consulte ative o OSS-HDFS.
Procedimento
-
Conecte-se ao cluster EMR.
Acesse o EMR on ECS console.
clique em cluster EMR de destino.
clique em guia Nodes e, em seguida, clique em ícone
à esquerda do grupo de nós.clique em ID do ECS. Na página da instância ECS, clique em Connect à direita do ID do ECS.
Para conectar-se ao cluster a partir de um ambiente Windows ou Linux com um par de chaves SSH ou senha, consulte Log on to a cluster.
-
especifique um caminho de armazenamento para o HBase.
Para especifique um caminho no OSS como caminho de armazenamento para dados e arquivos WAL no HBase, altere o valor do parâmetro hbase.rootdir no arquivo de configuração hbase-site para o caminho do OSS. O caminho deve estar no formato
oss://bucket.endpoint/hbase-root-dir.ImportantePara liberar clusters, desabilite as tabelas e certifique-se de que todas as operações de atualize executadas nos arquivos WAL estejam sincronizadas com os HFiles.