JindoFS元数据服务支持不同的存储后端,本文介绍使用Tablestore(OTS)作为元数据后端时需要进行的配置。
前提条件
背景信息
JindoFS在新版本中,支持使用Tablestore作为JindoFS元数据服务(Namespace Service)的存储。一个EMR JindoFS集群可以绑定一个Tablestore实例(Instance)作为JindoFS元数据服务的存储介质,元数据服务会自动为每个Namespace创建独立的Tablestore表进行管理和存储元数据信息。
元数据服务(双机Tablestore和HA)架构图如下所示。
配置Tablestore
使用Tablestore功能,需要把创建的Tablestore实例和JindoFS的Namespace服务进行绑定,详细步骤如下:
- 进入SmartData服务。
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击上方的集群管理页签。
- 在集群管理页面,单击相应集群所在行的详情。
- 在左侧导航栏,选择 。
- 登录阿里云E-MapReduce控制台。
- 进入bigboot服务配置页面。
- 单击配置页签。
- 单击bigboot。
配置以下参数。
例如,在华东1(杭州)地域下,创建了emr-jfs的Tablestore实例,EMR集群使用VPC网络,访问Tablestore的AccessKey ID为kkkkkk,Access Secret为XXXXXX。
参数
参数说明
是否必选
示例
namespace.backend.type
设置namespace后端存储类型,支持:
rocksdb
ots
raft
默认为rocksdb。
是
ots
namespace.ots.instance
Tablestore实例名称。
是
emr-jfs
namespace.ots.accessKey
Tablestore实例的AccessKey ID。
否
kkkkkk
namespace.ots.accessSecret
Tablestore实例的AccessKey Secret。
否
XXXXXX
namespace.ots.endpoint
Tablestore实例的Endpoint地址,普通EMR集群,推荐使用VPC地址。
是
http://emr-jfs.cn-hangzhou.vpc.tablestore.aliyuncs.com
保存配置。
单击右上角的保存。
在确认修改对话框中,输入执行原因,开启自动更新配置。
单击确定。
单击右上角的 。
配置Tablestore(高可用方案)
针对EMR的高可用集群,可以通过配置开启Namespace高可用模式。
Namespace高可用模式采用Active和Standby互备方式,支持自动故障转移,当Active Namespace出现异常或者异常中止时,客户端可以请求自动切换到新的Active节点。
进入SmartData的bigboot服务配置,配置以下参数。
修改jfs.namespace.server.rpc-address值为emr-header-1:8101,emr-header-2:8101。
单击右上角的自定义配置,添加namespace.backend.ots.ha为true。
单击确定。
保存配置。
单击右上角的保存。
在确认修改对话框中,输入执行原因,开启自动更新配置。
单击确定。
单击右上角的 。
单击右上角的 。