全部產品
Search
文件中心

E-MapReduce:通過網域名稱訪問EMR叢集

更新時間:Apr 23, 2025

為避免因叢集Auto Scaling或節點故障而導致的IP地址變更對商務持續性產生影響,EMR叢集支援在同一VPC或跨VPC情境下,通過叢集節點網域名稱訪問EMR服務。本文檔將詳細介紹如何配置EMR叢集的網域名稱訪問。

前提條件

  • 已成功建立EMR叢集,並擷取了叢集節點的完整網域名稱(例如:master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com)。

  • 訪問發起方(例如:ACK叢集或ECS 執行個體)已成功部署,並且可以進行登入。

  • 確保網路和安全性群組規則允許相關流量的通過。建議配置ICMP協議以及目標服務連接埠,例如80或8088。

情境一:訪問發起方與叢集在同一VPC

在同一VPC內,EMR叢集的網域名稱可以通過PrivateZone自動解析,無需額外配置,以下為驗證步驟。

步驟一:擷取叢集主節點網域名稱

  1. 通過SSH方式串連叢集,詳情請參見登入叢集

  2. 執行hostname -f擷取節點完整網域名稱。

    image

步驟二:驗證網域名稱訪問

  1. 登入訪問發起方,例如ECS執行個體。

  2. 執行ping master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com,驗證網路聯通性。

    image收到上述所示的返回報文,表示網域名稱解析成功,且訪問方VPC與EMR叢集VPC之間的網路已成功連通。

說明
  • 若解析失敗,請檢查安全性群組規則是否允許ICMP流量或目標服務的連接埠。

  • 確保訪問發起方的DNS配置未被更改,預設採用阿里雲VPC提供的DNS服務。

情境二:訪問發起方與叢集在不同VPC

當訪問發起方與EMR叢集位於不同VPC時,必須配置VPC網路互聯及PrivateZone網域名稱解析。以下是相關的配置與驗證步驟。

步驟一:建立VPC對等串連

  1. 登入對等串連管理主控台。在頂部功能表列處,選擇發起端VPC所在地區,本文為華北2(北京)

  2. 如果您是初次使用VPC對等串連,請在VPC对等连接頁面,單擊開通CDT功能,然後在彈出的對話方塊單擊確定開通

    說明

    如果建立跨帳號VPC對等串連,您需要確保接收端阿里雲帳號已經開通了CDT功能。

  3. VPC对等连接頁面,單擊建立對等串連,配置以下參數資訊。

    E20A1099-C438-410B-9DBD-C0CDCB223EDF.png

    跨地區情況下,您可以根據業務時延要求選擇鏈路類型

    • :阿里雲預設為您提供金牌頻寬能力,能滿足您對於時延和鏈路品質的一般要求。

    • 鉑金:如果您的業務需要更低時延和更強穩定性鏈路,例如證券交易、即時遊戲等,您可以選擇此類型。

    說明
    • 您可以建立同帳號同地區同帳號跨地區跨帳號同地區以及跨帳號跨地區的VPC對等串連。

    • 接收端帳號為同帳號時,發起端發起對等串連請求後,系統會自動建立串連,無需在接收端接收。

    • 接收端帳號為跨帳號時,發起端發起對等串連請求後,需要接收端接收串連請求後,才能建立VPC對等串連;接收端也可以拒絕串連請求,從而終止VPC對等串連的請求。接收端具體操作如下:

      1. 使用接收端帳號登入專用網路管理主控台在左側導覽列,單擊VPC對等串連

      2. VPC对等连接頁面,找到目標VPC對等串連,此時VPC對等串連的狀態為接收中image根據實際情境選擇是否接收請求:

        • 接收請求:VPC對等串連的狀態由接收中變為更新中

          待VPC對等串連啟用成功後狀態變為已啟用,表明該VPC對等串連可以正常使用。

        • 拒絕請求:VPC對等串連的狀態由接收中變為已拒絕

          狀態為已拒絕的VPC對等串連無法使用,可以在發起端或者接收端刪除該VPC對等串連。

        • 如果接收端未對跨帳號VPC對等串連請求做任何操作,7天后,該VPC對等串連進入已到期狀態。

步驟二:配置路由

VPC對等串連建立完成且狀態為已啟用後,需要在VPC對等串連的兩端添加指向對端的路由條目以實現VPC私網互連。

  1. VPC对等连接頁面,找到已建立的VPC對等串連,在發起端VPC執行個體列/接收端VPC執行個體列單擊配置路由條目peer-route

  2. 分別配置發起端VPC和接收端VPC的IPv4/IPv6路由條目。下圖以IPv4路由條目配置為例。

    A5670115-E729-4548-B2A1-1C74843A220E.png

    配置項說明

    配置項

    說明

    專用網路

    系統自動顯示當前發起端的VPC執行個體。

    路由表

    在下拉式清單中選擇該VPC執行個體所關聯的路由表。

    目標網段

    • 為VPC對等串連配置IPv4路由

      選擇目標網段類型為IPv4,輸入接收端的IPv4 CIDR網段。

    • 為VPC對等串連配置IPv6路由

      選擇目標網段類型為IPv6,輸入接收端的IPv6 CIDR網段。

    下一跳

    系統自動顯示下一跳對等串連執行個體。

說明

跨帳號對等串連的情境下,您需要使用接收端帳號登入專用網路管理主控台輸入發送端VPC的IPv4/IPv6 CIDR網段,以配置接收端VPC的路由。

步驟三:將訪問方VPC綁定到叢集VPC所在PrivateZone

目前EMR叢集不支援自行綁定,請在官網提交工單,聯絡EMR產品售後團隊將訪問方的VPC綁定到EMR叢集的VPC所在的PrivateZone。綁定後,EMR叢集的PrivateZone網域名稱解析能力已擴充至訪問方VPC。

步驟四:驗證網域名稱訪問

  1. 登入訪問發起方,例如ECS執行個體。

  2. 執行ping master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com,驗證網路聯通性。

    image收到上述所示的返回報文,表示網域名稱解析成功,且訪問方VPC與EMR叢集VPC之間的網路已成功連通。

說明
  • 若解析失敗,請檢查安全性群組規則是否允許ICMP流量或目標服務的連接埠。

  • 確保訪問發起方的DNS配置未被更改,預設採用阿里雲VPC提供的DNS服務。

常見問題

網域名稱無法解析

網路不通

使用tracert或telnet測試網路連通性,驗證安全性群組規則是否允許存取目標連接埠,具體安全性群組配置,請參見管理安全性群組