开源大数据平台E-MapReduce：配置独立RDS

前提条件

使用限制

创建RDS MySQL实例时，数据库类型选择MySQL，版本选择5.7；系列选择高可用版。

操作流程

1. 步骤一：元数据库准备
   准备元数据库信息。
2. 步骤二：创建集群
   在EMR控制台上创建集群，关联元数据库信息。
3. 可选：步骤三：Metastore初始化
   根据Hive版本初始化Metastore。

   重要 如果您创建的是Hadoop集群，则需要执行该步骤。

步骤一：元数据库准备

1. 创建hivemeta的数据库。
   详情请参见创建数据库和账号中的创建数据库。
2. 创建用户并授权读写权限。
   重要

   创建普通账号详情，请参见创建数据库和账号。

   

   请记录创建账号的用户名和密码，步骤二：创建集群会用到。

3. 获取数据库内网地址。
   1. 设置白名单，详情请参见通过客户端、命令行连接RDS。
   2. 在实例详细页面，单击左侧导航栏中的数据库连接。
   3. 在数据库连接页面，单击内网地址进行复制。
      

      请记录内网地址，步骤二：创建集群时会用到。

步骤二：创建集群

步骤三：Metastore初始化

1. 进入集群详情页面。
   1. 登录阿里云E-MapReduce控制台。
   2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
   3. 单击上方的集群管理页签。
   4. 在集群管理页面，单击相应集群所在行的详情。
2. 在集群基础信息页面的软件信息区域，检查Hive的版本，并进行初始化。
   • 如果Hive是2.3.x版本，请按照以下步骤进行初始化。
     1. 使用ssh方式登录集群Master节点，详情请参见登录集群。
     2. 执行以下命令，进入mysql目录。

        cd /usr/lib/hive-current/scripts/metastore/upgrade/mysql/

     3. 执行以下命令，登录MySQL数据库。

        mysql -h {RDS数据库内网或外网地址} -u{RDS用户名} -p{RDS密码}

     4. 执行以下命令，进行初始化。

        use {RDS数据库名称};
        source /usr/lib/hive-current/scripts/metastore/upgrade/mysql/hive-schema-2.3.0.mysql.sql;

     上述命令中参数描述如下：

     • {RDS用户名}为步骤一：元数据库准备中账号的用户名。本示例为hiveuser。
     • {RDS密码}为步骤一：元数据库准备中账号的密码。
     • {RDS数据库名称}为步骤一：元数据库准备中设置的数据库名称。本示例为hivemeta。
   • 如果Hive是其他版本时，执行以下命令进行初始化。
     1. 使用ssh方式登录集群Master节点，详情请参见登录集群。
     2. 执行以下命令，切换为hadoop用户。

        su hadoop

     3. 执行以下命令，进行初始化。

        schematool -initSchema -dbType mysql

   待初始化成功后，则可以使用自建的RDS作为Hive的元数据库。

   说明 在初始化之前，Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常，待初始化之后会恢复正常。

常见问题

• Metastore初始化时提示Failed to get schema version异常信息，该如何处理？
• 如果Hive元数据信息中包含中文信息，例如列注释和分区名等，该如何处理？