全部產品
Search
文件中心

E-MapReduce:使用Tablestore作為儲存後端

更新時間:Mar 13, 2025

JindoFS中繼資料服務支援不同的儲存後端,本文介紹使用Tablestore(OTS)作為中繼資料後端時需要進行的配置。

前提條件

背景資訊

JindoFS在新版本中,支援使用Tablestore作為JindoFS中繼資料服務(Namespace Service)的儲存。一個EMR JindoFS叢集可以綁定一個Tablestore執行個體(Instance)作為JindoFS中繼資料服務的儲存介質,中繼資料服務會自動為每個Namespace建立獨立的Tablestore表進行管理和儲存中繼資料資訊。

中繼資料服務(雙機Tablestore和HA)架構圖如下所示。HA

配置Tablestore

使用Tablestore功能,需要把建立的Tablestore執行個體和JindoFS的Namespace服務進行綁定,詳細步驟如下:

  1. 進入SmartData服務。
    1. 登入阿里雲E-MapReduce控制台
    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    3. 單擊上方的叢集管理頁簽。
    4. 叢集管理頁面,單擊相應叢集所在行的詳情
    5. 在左側導覽列,選擇叢集服務 > SmartData
  2. 進入bigboot服務配置頁面。
    1. 單擊配置頁簽。
    2. 單擊bigboot
      bigboot
  3. 配置以下參數。

    例如,在華東1(杭州)地區下,建立了emr-jfs的Tablestore執行個體,EMR叢集使用VPC網路,訪問Tablestore的AccessKey ID為kkkkkk,Access Secret為XXXXXX。

    參數

    參數說明

    是否必選

    樣本

    namespace.backend.type

    設定namespace後端儲存類型,支援:

    • rocksdb

    • ots

    • raft

    預設為rocksdb。

    ots

    namespace.ots.instance

    Tablestore執行個體名稱。

    emr-jfs

    namespace.ots.accessKey

    Tablestore執行個體的AccessKey ID。

    kkkkkk

    namespace.ots.accessSecret

    Tablestore執行個體的AccessKey Secret。

    XXXXXX

    namespace.ots.endpoint

    Tablestore執行個體的Endpoint地址,普通EMR叢集,推薦使用VPC地址。

    http://emr-jfs.cn-hangzhou.vpc.tablestore.aliyuncs.com

  4. 儲存配置。

    1. 單擊右上方的儲存

    2. 確認修改對話方塊中,輸入執行原因,開啟自動更新配置

    3. 單擊確定

  5. 單擊右上方的操作 > 重啟 Jindo Namespace Service

配置Tablestore(高可用方案)

針對EMR的高可用叢集,可以通過配置開啟Namespace高可用模式。高可用

Namespace高可用模式採用Active和Standby互備方式,支援自動容錯移轉,當Active Namespace出現異常或者異常中止時,用戶端可以請求自動切換到新的Active節點。OTS

  1. 進入SmartData的bigboot服務配置,配置以下參數。

    1. 修改jfs.namespace.server.rpc-address值為emr-header-1:8101,emr-header-2:8101

    2. 單擊右上方的自訂配置,添加namespace.backend.ots.hatrue

    3. 單擊確定

    4. 儲存配置。

      1. 單擊右上方的儲存

      2. 確認修改對話方塊中,輸入執行原因,開啟自動更新配置

      3. 單擊確定

  2. 單擊右上方的操作 > 重啟Jindo Namespace Service

  3. 單擊右上方的操作 > 重啟Jindo Storage Service