从E-MapReduce-2.4.0(以下简称 EMR) 版本开始,E-MapReduce支持了统一元数据管理,在E-MapReduce-2.4.0版本之前,用户所有集群均采用的是集群本地的mysql数据库作为Hive元数据库,在E-MapReduce-2.4.0版本以及之后的版本中, E-MapReduce 会支持统一的高可靠的 Hive元数据库。

介绍

hive元数据库

统一的元数据管理,可以实现:

  • 持久化的元数据存储。

    之前元数据都是在集群内部的mysql数据库,元数据会随着集群的释放而丢失,特别是EMR提供了灵活按量模式,集群可以按需创建用完就释放。如果用户需要保留现有的元数据信息,必须登录集群手动将元数据信息导出。支持统一的元数据管理之后,不再存在该问题。

  • 更方便地实现计算存储分离。

    EMR上可以支持将数据存放在阿里云OSS中,在大数据量的情况下将数据存储在OSS上会大大降低使用的成本,EMR集群主要用来作为计算资源,在计算完成之后机器可以随时释放,数据在OSS上,同时也不用再考虑元数据迁移的问题。

  • 更方便地实现数据共享。
    使用统一的元数据库,如果用户的所有数据都存放在OSS之上,则不需要做任何元数据的迁移和重建所有集群都是可以直接访问数据,这样每个EMR集群可以做不同的业务,但是可以很方便地实现数据的共享。
    说明 在支持统一元数据之前,元数据是存储在每个集群本地环境的Mysql数据库中,所以元数据会随着集群的释放而被清理。在支持统一元数据之后,释放集群不会清理元数据信息。所以,在任何时候删除OSS上或者集群HDFS上数据(包括释放集群操作)的时候,需要先确认该数据对应的元数据已经删除(即要删掉数据对应的表和数据库),否则元数据库中可能出现一些脏数据。

使用限制

当前元数据库需要使用公网IP来连接,所以集群必须要有公网IP,同时请不要随意的切换公网IP地址,防止对应的数据库白名单失效。

只有在创建集群的时候打开了统一元数据库这个开关才能使用表管理的功能,如果是本地的元数据库,目前还不支持在控制台页面上管理。可以使用集群上的Hue工具来进行管理。

E-MapReduce后台RDS统一管理元数据的方式,仅限小容量的用户使用。对于需要大容量建议您自建RDS作为统一元数据。默认限制为:

  • 总容量:200MiB。
  • 小时query数量限制: 720000/h。
  • 小时update数量限制: 144000/h。

创建使用统一元数据的集群

  • 页面方式 。

    创建集群时,在基础配置页面,打开统一 meta 数据库开关。

  • API方式 。

    参考API文档中的 CreateClusterV2 定义,请指定此选项:useLocalMetaDb=false。

元数据基本操作

说明 EMR控制台统一元数据管理页面,当前只对使用统一元数据的集群生效,且必须有活跃中的统一元数据集群。
  • 数据库操作。

    可根据库名查找库,单击库名可查看当前库的所有表。

    注意 删除数据库之前,必须删除数据库下所有表。
  • 表操作。table_operate

    表创建:当前仅支持外部表创建和分区表创建。分隔符不仅支持普通的逗号、空格等字符,还支持四种特殊字符:TAB、^A、^B 和 ^C,或者自定义分隔符。

  • 表详情。table_info
    分区查看:对于分区表,可以在表详情 > 分区信息页面查看分区列表,最多显示10000个分区。
    注意
    • 如果没有任何E-MapReduce集群,不支持进行对数据库和表的创建和删除操作。
    • 由于HDFS是每个集群内部文件系统,在没有进行特殊的网络环境设置的情况下,不同集群之间的HDFS无法相互访问的,所以 EMR 表管理功能对数据库和表的创建只支持基于OSS文件系统。
    • 数据库和表的location都不能选择整个OSS bucket,需要选择到OSS bucket下面的目录。
  • 元数据库信息。data_info

    可以在元数据库信息页查看当前 RDS 的用量和使用限制,如需修改,请提交工单。

常见问题

  • Wrong FS: oss://yourbucket/xxx/xxx/xxx 或 Wrong FS: hdfs://yourhost:9000/xxx/xxx/xxx

    出现这个问题,是由于删除OSS上的表数据之前,没有删除数据表对应的元数据。导致表的schema还在,但实际的数据已不存在或已移动到别的路径。可以先修改表的location为一个存在的路径,然后再删除表。

    alter table test set location 'oss://your_bucket/your_folder'

    该操作可以直接在EMR控制台的交互式控制台中完成。

    说明 oss://your_bucket/your_folder必须是一个存在的OSS路径。
  • 删除hive database的时候出现:java.lang.IllegalArgumentException: java.net.UnknownHostException: xxxxxxx

    出现该问题的原因,是因为在之前的集群之上创建了Hive的数据库,并且数据库的位置是落在之前集群的HDFS之上,但是在集群释放的时候,没有清理掉对应的hive database,导致新建集群之后,没法访问到之前已经释放集群的HDFS数据。所以如果是手动创建了在HDFS之上的数据库和表,在释放集群的时候请记得清理。

    解决方案:

    首先,通过命令行登录到集群master节点上,找到hive meta db的访问地址和用户名密码信息,在$HIVE_CONF_DIR/hive-site.xml中,找到对应属性。

    javax.jdo.option.ConnectionUserName //对应数据库用户名;
    javax.jdo.option.ConnectionPassword //对应数据库访问密码;
    javax.jdo.option.ConnectionURL //对应数据库访问地址和库名;
    delete_hive_database
    在集群master节点上登录hive meta db:
    mysql -h ${DBConnectionURL} -u ${ConnectionUserName} -p [回车]
    [输入密码]${ConnectionPassword}
    登录上hive meta db之后,修改对应hive database的location为该region真实存在的OSS路径即可:hive_meta_db