云 HBase 支持使用 Hive 读写里面的数据,配置起来也很简单。

  • 将 Hive 所在的 Hadoop 集群所有的节点的IP加入到云HBase白名单;
  • 获取云HBase的zookeeper访问地址,可在云HBase控制台查看。

##修改配置

  • 进入hive配置目录 /etc/ecm/hive-conf/
  • 修改 hbase-site.xml,将 hbase.zookeeper.quorum 修改为云HBase的zookeeper访问连接,如下:
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>hb-xxx-001.hbase.rds.aliyuncs.com,hb-xxx-002.hbase.rds.aliyuncs.com,hb-xxx-003.hbase.rds.aliyuncs.com</value>
</property>

在Hive中读写HBase表

如果HBase表不存在,可在Hive中直接创建云HBase关联表

  • 进入hive cli命令行 Hive CLI
  • 创建HBase表
CREATE TABLE hive_hbase_table(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "hive_hbase_table", "hbase.mapred.output.outputtable" = "hive_hbase_table");
  • Hive中向hbase插入数据
insert into hive_hbase_table values(212,'bab'); 

hive

  • 查看云HBase表,hbase表已创建,数据也已写入 hive hive
  • 在HBase中写入数据,并在Hive中查看 hive

    在Hive中查看:

    hive

  • Hive删除表,HBase表也删除

    hive

    查看hbase表,报错不存在表 hive

如果HBase表已存在,可在Hive中HBase外表进行关联,外部表在删除时不影响HBase已创建表

  • 云hbase中创建hbase表,并put测试数据 hive
  • Hive中创建HBase外部关联表,并查看数据 hive
  • 删除Hive表不影响HBase已存在表

    hive

    hive

Hive更多操作HBase步骤,可参考https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

如果使用ECS自建mr集群的 Hive时,操作步骤跟EMR操作类似,需要注意的是自建Hive的hbase-site.xml部分配置项可能与云HBase不一致,简单来说网络和端口开放后,只保留hbase.zookeeper.quorum即可与云Hbase进行关联。