跨叢集訪問JindoFS

更新時間:
Copy as MD

通常E-MapReduce叢集之間相互獨立,每個叢集的用戶端只能串連並訪問本叢集內配置的namespace。在多叢集的情況下,您可以通過配置JindoFS實現跨叢集互訪。本文以叢集A訪問叢集B為例,介紹如何跨叢集訪問JindoFS。

前提條件

  • 已建立EMR-3.30.0及後續版本的同一VPC下的叢集AB,詳情請參見建立叢集
  • 配置/etc/hosts檔案,同步B叢集所有節點的hostsA叢集。

修改配置

  1. 進入SmartData服務。
    1. 登入阿里雲E-MapReduce控制台
    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組
    3. 單擊上方的集群管理頁簽。
    4. 集群管理頁面,單擊相應叢集所在行的详情
    5. 在左側導覽列,選擇集群服务 > SmartData
  2. 進入 client 服務配置。
    1. 單擊配置頁簽。
    2. 服务配置地區,單擊client頁簽。
  3. 修改配置資訊,實現跨叢集訪問。
    根據B叢集的namespace.backend.type參數配置A叢集:
    • B叢集的namespace.backend.typerocksdb時,執行如下操作:
      1. 單擊右上方的自定义配置
      2. 新增配置项對話方塊中,添加client.external.namespace.rpc.addressesemr-header-1.<cluster-B>:8101,單擊确定
        說明 <cluster-B>為叢集B的叢集ID。
    • B叢集的namespace.backend.typeraft時,執行如下操作:
      1. 單擊右上方的自定义配置
      2. 新增配置项對話方塊中,添加client.external.namespace.rpc.addressesemr-header-1.<cluster-B>:8101,emr-header-2.<cluster-B>:8101,emr-header-3.<cluster-B>:8101,單擊确定
  4. 儲存配置。

    1. 單擊右上方的保存

    2. 确认修改對話方塊中,輸入執行原因,開啟自動更新配置

    3. 單擊确定

關聯多個叢集

client.external.namespace.rpc.addresses配置多個遠端地址時,即可實現關聯多個叢集,不同的叢集地址通過英文分號(;)隔開。

例如,叢集A需要關聯集群B和叢集C,B叢集(rocksdb實現)地址為emr-header-1.<cluster-B>:8101,C叢集(raft實現)地址為emr-header-1.<cluster-C>:8101,emr-header-2.<cluster-C>:8101,emr-header-3.<cluster-C>:8101A叢集需要添加的配置資訊為client.external.namespace.rpc.addresses=emr-header-1.<cluster-B>:8101;emr-header-1.<cluster-C>:8101,emr-header-2.<cluster-C>:8101,emr-header-3.<cluster-C>:8101