為避免因叢集Auto Scaling或節點故障而導致的IP地址變更對商務持續性產生影響,EMR叢集支援在同一VPC或跨VPC情境下,通過叢集節點網域名稱訪問EMR服務。本文檔將詳細介紹如何配置EMR叢集的網域名稱訪問。
前提條件
已成功建立EMR叢集,並擷取了叢集節點的完整網域名稱(例如:master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com)。
訪問發起方(例如:ACK叢集或ECS 執行個體)已成功部署,並且可以進行登入。
確保網路和安全性群組規則允許相關流量的通過。建議配置ICMP協議以及目標服務連接埠,例如80或8088。
情境一:訪問發起方與叢集在同一VPC
在同一VPC內,EMR叢集的網域名稱可以通過PrivateZone自動解析,無需額外配置,以下為驗證步驟。
步驟一:擷取叢集主節點網域名稱
通過SSH方式串連叢集,詳情請參見登入叢集。
執行
hostname -f擷取節點完整網域名稱。
步驟二:驗證網域名稱訪問
登入訪問發起方,例如ECS執行個體。
執行
ping master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com,驗證網路聯通性。
收到上述所示的返回報文,表示網域名稱解析成功,且訪問方VPC與EMR叢集VPC之間的網路已成功連通。
若解析失敗,請檢查安全性群組規則是否允許ICMP流量或目標服務的連接埠。
確保訪問發起方的DNS配置未被更改,預設採用阿里雲VPC提供的DNS服務。
情境二:訪問發起方與叢集在不同VPC
當訪問發起方與EMR叢集位於不同VPC時,必須配置VPC網路互聯及PrivateZone網域名稱解析。以下是相關的配置與驗證步驟。
步驟一:建立VPC對等串連
登入對等串連管理主控台。在頂部功能表列處,選擇發起端VPC所在地區,本文為華北2(北京)。
如果您是初次使用VPC對等串連,請在VPC对等连接頁面,單擊開通CDT功能,然後在彈出的對話方塊單擊確定開通。
說明如果建立跨帳號VPC對等串連,您需要確保接收端阿里雲帳號已經開通了CDT功能。
在VPC对等连接頁面,單擊建立對等串連,配置以下參數資訊。

跨地區情況下,您可以根據業務時延要求選擇鏈路類型。
金:阿里雲預設為您提供金牌頻寬能力,能滿足您對於時延和鏈路品質的一般要求。
鉑金:如果您的業務需要更低時延和更強穩定性鏈路,例如證券交易、即時遊戲等,您可以選擇此類型。
說明您可以建立同帳號同地區、同帳號跨地區、跨帳號同地區以及跨帳號跨地區的VPC對等串連。
接收端帳號為同帳號時,發起端發起對等串連請求後,系統會自動建立串連,無需在接收端接收。
接收端帳號為跨帳號時,發起端發起對等串連請求後,需要接收端接收串連請求後,才能建立VPC對等串連;接收端也可以拒絕串連請求,從而終止VPC對等串連的請求。接收端具體操作如下:
使用接收端帳號登入專用網路管理主控台。在左側導覽列,單擊VPC對等串連。
在VPC对等连接頁面,找到目標VPC對等串連,此時VPC對等串連的狀態為接收中。
根據實際情境選擇是否接收請求:接收請求:VPC對等串連的狀態由接收中變為更新中。
待VPC對等串連啟用成功後狀態變為已啟用,表明該VPC對等串連可以正常使用。
拒絕請求:VPC對等串連的狀態由接收中變為已拒絕。
狀態為已拒絕的VPC對等串連無法使用,可以在發起端或者接收端刪除該VPC對等串連。
如果接收端未對跨帳號VPC對等串連請求做任何操作,7天后,該VPC對等串連進入已到期狀態。
步驟二:配置路由
VPC對等串連建立完成且狀態為已啟用後,需要在VPC對等串連的兩端添加指向對端的路由條目以實現VPC私網互連。
在VPC对等连接頁面,找到已建立的VPC對等串連,在發起端VPC執行個體列/接收端VPC執行個體列單擊配置路由條目。

分別配置發起端VPC和接收端VPC的IPv4/IPv6路由條目。下圖以IPv4路由條目配置為例。

跨帳號對等串連的情境下,您需要使用接收端帳號登入專用網路管理主控台。輸入發送端VPC的IPv4/IPv6 CIDR網段,以配置接收端VPC的路由。
步驟三:將訪問方VPC綁定到叢集VPC所在PrivateZone
目前EMR叢集不支援自行綁定,請在官網提交工單,聯絡EMR產品售後團隊將訪問方的VPC綁定到EMR叢集的VPC所在的PrivateZone。綁定後,EMR叢集的PrivateZone網域名稱解析能力已擴充至訪問方VPC。
步驟四:驗證網域名稱訪問
登入訪問發起方,例如ECS執行個體。
執行
ping master-1-1.<Cluster-ID>.<Region-ID>.emr.aliyuncs.com,驗證網路聯通性。
收到上述所示的返回報文,表示網域名稱解析成功,且訪問方VPC與EMR叢集VPC之間的網路已成功連通。
若解析失敗,請檢查安全性群組規則是否允許ICMP流量或目標服務的連接埠。
確保訪問發起方的DNS配置未被更改,預設採用阿里雲VPC提供的DNS服務。
常見問題
網域名稱無法解析
確認訪問方是否使用阿里雲預設DNS伺服器,阿里雲預設DNS伺服器位址為:100.100.2.136以及100.100.2.138。如果不是,請修改
/etc/resolv.conf檔案。
登入Alibaba Cloud DNS控制台,確認EMR叢集PrivateZone是否正確關聯訪問方VPC,如果不是,請參見情境二:訪問發起方與叢集在不同VPC。
網路不通
使用tracert或telnet測試網路連通性,驗證安全性群組規則是否允許存取目標連接埠,具體安全性群組配置,請參見管理安全性群組。