JindoFS中繼資料服務支援不同的儲存後端,本文介紹使用Tablestore(OTS)作為中繼資料後端時需要進行的配置。
前提條件
已建立EMR叢集。
詳情請參見建立叢集。
已建立Tablestore執行個體,推薦使用高效能執行個體。
詳情請參見開通服務並建立執行個體。
說明需要開啟事務功能。
背景資訊
JindoFS在新版本中,支援使用Tablestore作為JindoFS中繼資料服務(Namespace Service)的儲存。一個EMR JindoFS叢集可以綁定一個Tablestore執行個體(Instance)作為JindoFS中繼資料服務的儲存介質,中繼資料服務會自動為每個Namespace建立獨立的Tablestore表進行管理和儲存中繼資料資訊。
中繼資料服務(雙機Tablestore和HA)架構圖如下所示。
配置Tablestore
使用Tablestore功能,需要把建立的Tablestore執行個體和JindoFS的Namespace服務進行綁定,詳細步驟如下:
- 進入SmartData服務。
- 登入阿里雲E-MapReduce控制台。
- 在頂部功能表列處,根據實際情況選擇地區和資源群組。
- 單擊上方的叢集管理頁簽。
- 在叢集管理頁面,單擊相應叢集所在行的詳情。
- 在左側導覽列,選擇。
- 登入阿里雲E-MapReduce控制台。
- 進入bigboot服務配置頁面。
- 單擊配置頁簽。
- 單擊bigboot。

配置以下參數。
例如,在華東1(杭州)地區下,建立了emr-jfs的Tablestore執行個體,EMR叢集使用VPC網路,訪問Tablestore的AccessKey ID為kkkkkk,Access Secret為XXXXXX。
參數
參數說明
是否必選
樣本
namespace.backend.type
設定namespace後端儲存類型,支援:
rocksdb
ots
raft
預設為rocksdb。
是
ots
namespace.ots.instance
Tablestore執行個體名稱。
是
emr-jfs
namespace.ots.accessKey
Tablestore執行個體的AccessKey ID。
否
kkkkkk
namespace.ots.accessSecret
Tablestore執行個體的AccessKey Secret。
否
XXXXXX
namespace.ots.endpoint
Tablestore執行個體的Endpoint地址,普通EMR叢集,推薦使用VPC地址。
是
http://emr-jfs.cn-hangzhou.vpc.tablestore.aliyuncs.com
儲存配置。
單擊右上方的儲存。
在確認修改對話方塊中,輸入執行原因,開啟自動更新配置。
單擊確定。
單擊右上方的。
配置Tablestore(高可用方案)
針對EMR的高可用叢集,可以通過配置開啟Namespace高可用模式。
Namespace高可用模式採用Active和Standby互備方式,支援自動容錯移轉,當Active Namespace出現異常或者異常中止時,用戶端可以請求自動切換到新的Active節點。
進入SmartData的bigboot服務配置,配置以下參數。
修改jfs.namespace.server.rpc-address值為emr-header-1:8101,emr-header-2:8101。
單擊右上方的自訂配置,添加namespace.backend.ots.ha為true。
單擊確定。
儲存配置。
單擊右上方的儲存。
在確認修改對話方塊中,輸入執行原因,開啟自動更新配置。
單擊確定。
單擊右上方的。
單擊右上方的。