JindoFS在EMR-3.27.0及之后版本中支持使用Raft-RocksDB-OTS作为Jindo元数据服务(Namespace Service)的存储。1个EMR JindoFS集群创建3个Master节点组成1个Raft实例,实例的每个Peer节点使用本地RocksDB存储元数据信息。Raft元数据实例的OTS(TableStore)备份为可选的容灾操作,Raft元数据本身具有一定的容灾能力,可根据实际情况判断是否需要开启。

背景信息

RocksDB通过Raft协议实现3个节点之间的复制。集群可以绑定1个Tablestore(OTS)实例,作为Jindo的元数据服务的额外存储介质,本地的元数据信息会实时异步地同步到用户的Tablestore实例上。

元数据服务-多机Raft-RocksDB-Tablestore+HA如下图所示。Raft + RocksDB + Tablestore

前提条件

  • 可选:创建Tablestore实例,推荐使用高性能实例,详情请参见创建实例
    说明 需要开启OTS(Tablestore)的事务特性。
  • 创建3 Master的EMR集群,详情请参见创建集群3 Master
    说明 如果没有部署方式,请提交工单处理。

配置本地raft后端

  1. 进入SmartData服务页面。
    1. 登录阿里云E-MapReduce控制台
    2. 在顶部菜单栏处,根据实际情况选择地域和资源组
    3. 单击上方的集群管理页签。
    4. 集群管理页面,单击相应集群所在行的详情
    5. 在左侧导航栏,选择集群服务 > SmartData
  2. 暂停SmartData所有服务。
    1. 选择右上角的操作 > 停止All Components
    2. 执行集群操作对话框,填写执行原因,单击确定
    3. 确认对话框,单击确定
  3. 根据使用需求,添加需要的namespace。
  4. 进入SmartData服务的namespace页签。
    1. 在左侧导航栏,选择集群服务 > SmartData
    2. 单击配置页签。
    3. 服务配置区域,单击namespace页签。
  5. 在SmartData服务的namespace页签,设置如下参数。
    参数 描述 示例
    namespace.backend.type 设置namespace后端存储类型,支持:
    • rocksdb
    • ots
    • raft

    默认为rocksdb。

    raft
    namespace.backend.raft.initial-conf 部署raft实例的3个Master地址(固定值)。 emr-header-1:8103:0,emr-header-2:8103:0,emr-header-3:8103:0
    jfs.namespace.server.rpc-address Client端访问raft实例的3个Master地址(固定值) emr-header-1:8101,emr-header-2:8101,emr-header-3:8101
    说明 如果不需要使用OTS远端存储,直接执行步骤7步骤9;如果需要使用OTS远端存储,请执行步骤6~步骤9
  6. 可选:配置远端OTS异步存储。
    在SmartData服务的namespace页签,设置如下参数。
    参数 参数说明 示例
    namespace.ots.instance Tablestore实例名称。 emr-jfs
    namespace.ots.accessKey Tablestore实例的AccessKey ID。 kkkkkk
    namespace.ots.accessSecret Tablestore实例的AccessKey Secret。 XXXXXX
    namespace.ots.endpoint Tablestore实例的Endpoint地址,通常EMR集群,推荐使用VPC地址。 http://emr-jfs.cn-hangzhou.vpc.tablestore.aliyuncs.com
    namespace.backend.raft.async.ots.enabled 是否开启OTS异步上传,包括:
    • true
    • false
    当设置为true时,需要在SmartData服务完成初始化前,开启OTS异步上传功能。
    说明 如果SmartData服务已完成初始化,则不能再开启该功能。因为OTS的数据已经落后于本地RocksDB的数据。
    true
  7. 保存配置。
    1. 单击右上角的保存
    2. 确认修改对话框中,输入执行原因,开启自动更新配置
    3. 单击确定
  8. 启动SmartData所有服务。
    1. 在SmartData服务页面,选择右上角的操作 > 启动All Components
    2. 执行集群操作对话框,填写执行原因,单击确定
    3. 确认对话框,单击确定
  9. 通过SSH方式连接集群,然后执行以下命令查看状态。
    jindo jfs -metaStatus -detail

    如果返回信息中包含raft字样,则表示配置生效。

从Tablestore恢复元数据信息

注意 需要开启OTS(TableStore)的备份功能。

如果您在原始集群开启了远端Tablestore异步存储,则Tablestore上会有1份完整的JindoFS元数据的副本。您可以在停止或释放原始集群后,在新创建的集群上恢复原先的元数据,从而继续访问之前保存的文件。

  1. 可选:准备工作。
    1. 查看原始集群的元数据信息(文件和文件夹数量)。
      hadoop fs -count jfs://test/
      返回信息如下所示。
      1596      1482809                 25 jfs://test/
      说明 返回信息中的1596表示文件夹个数,1482809为文件个数。
    2. 停止原始集群的作业,等待30~120秒左右,等待原始集群的数据已经完全同步到Tablestore。执行以下命令查看状态。如果LEADER节点显示_synced=1,则表示Tablestore为最新数据,同步完成。
      jindo jfs -metaStatus -detail
      查看状态
    3. 停止或释放原始集群,确保没有其它集群正在访问当前的Tablestore实例。
  2. 创建新集群。
    新建与Tablestore实例相同Region的EMR集群,暂停SmartData所有服务。详情请参见配置本地raft后端
  3. 初始化配置。
    在SmartData服务的namespace页签,设置以下参数。
    参数 描述 示例
    namespace.backend.raft.async.ots.enabled 是否开启OTS异步上传,包括:
    • true
    • false
    false
    namespace.backend.raft.recovery.mode 是否开启从OTS恢复元数据,包括:
    • true
    • false
    true
  4. 保存配置。
    1. 单击右上角的保存
    2. 确认修改对话框中,输入执行原因,开启自动更新配置
    3. 单击确定
  5. 启动SmartData所有服务。
    1. 在SmartData服务页面,选择右上角的操作 > 启动All Components
    2. 执行集群操作对话框,填写执行原因,单击确定
    3. 确认对话框,单击确定
  6. 新集群的SmartData服务启动后,自动从OTS恢复元数据到本地Raft-RocksDB上,可以通过以下命令查看恢复进度。
    jindo jfs -metaStatus -detail
    如图所示,LEADER节点的state为FINISH表示恢复完成。查看状态
  7. 可选:执行以下操作,可以比较一下文件数量与原始集群是否一致。
    • 执行以下命令,查看文件数量是否与原集群一致。
      hadoop fs -count jfs://test/
      返回信息如下所示。
      1596      1482809                 25 jfs://test/
    • 执行以下命令,查看文件是否可以正常读取。
      hadoop fs -cat jfs://test/testfile
    • 执行以下命令,查看文件目录。
      hadoop fs -ls jfs://test/
      返回信息如下所示。
      Found 3 items
      drwxrwxr-x   - root   root            0 2020-03-25 14:54 jfs://test/emr-header-1.cluster-50087
      -rw-r-----   1 hadoop hadoop          5 2020-03-25 14:50 jfs://test/haha-12096RANDOM.txt
      -rw-r-----   1 hadoop hadoop         20 2020-03-25 15:07 jfs://test/testfile
    • 执行以下命令,验证文件是否不可修改。
      hadoop fs -rm jfs://test/testfile
      返回如下提示信息。
      java.io.IOException: ErrorCode : 25021 , ErrorMsg: Namespace is under recovery mode, and is read-only.
      说明 此时的集群为恢复模式,也是只读模式,不可修改文件
  8. 修改配置,将集群设置为正常模式,开启OTS异步上传功能。
    在SmartData服务的namespace页签,设置以下参数。
    参数 描述 示例
    namespace.backend.raft.async.ots.enabled 是否开启OTS异步上传,包括:
    • true
    • false
    true
    namespace.backend.raft.recovery.mode 是否开启从OTS恢复元数据,包括:
    • true
    • false
    false
  9. 重启集群。
    1. 单击上方的集群管理页签。
    2. 集群管理页面,选择相应集群所在行的更多 > 重启
    3. 确认重启集群对话框中,单击确定