通過網路連接功能,EMR Serverless Spark可以訪問自有VPC(Virtual Private Cloud)內的資料來源、伺服器和其他服務。本文介紹如何新增網路連接,以及如何為目標服務配置安全性群組規則。
前提條件
已建立Serverless Spark工作空間,詳情請參見建立工作空間。
使用限制
當前僅支援使用下列可用性區域的交換器。
新增網路連接
-
進入網路連接頁面。
-
在左側導覽列,選擇。
-
在Spark頁面,單擊目標工作空間名稱。
-
在EMR Serverless Spark頁面,單擊左側導覽列中的網路連接。
-
在網路連接頁面,單擊新增网络连接。
-
在新增网络连接對話方塊中,配置以下資訊,單擊确定。
參數
說明
串連名稱
輸入新增串連的名稱。
專用網路
選擇與EMR叢集相同的專用網路。
如果當前沒有可選擇的專用網路,請單擊创建专有网络,前往專用網路控制台建立,詳情請參見專用網路與交換器。
說明如果您的Serverless Spark需要訪問公網,則必須確保添加的網路連接具備公網訪問能力。例如,可以在VPC中部署一個公網NAT Gateway,以便Serverless Spark執行個體通過該網關訪問公網。更多詳情,請參見公網 NAT Gateway。
交换机
選擇與EMR叢集部署在同一專用網路下的交換器。
如果當前可用性區域沒有交換器,請單擊虚拟交换机,前往專用網路控制台建立,詳情請參見建立和管理交換器。
重要僅支援選擇特定可用性區域下的交換器,詳情請參見使用限制。
當狀態顯示為已成功時,表示新增網路連接成功。

配置安全性群組規則
新增網路連接後,還需要在目標服務所在叢集的安全性群組中放通該網路連接所用交換器的網段,Serverless Spark才能訪問該服務。以訪問EMR on ECS叢集為例,操作步驟如下。
-
擷取已建立網路連接中指定交換器的網段。
您可以登入專用網路管理主控台的交換器頁面,擷取交換器的網段。
-
添加安全性群組規則。
-
在EMR on ECS頁面,單擊目的地組群的叢集ID。
-
在基础信息頁面的安全地區,單擊集群安全组後面的連結。
-
在安全性群組詳情頁面的訪問規則地區,單擊增加規則,填寫以下資訊,然後單擊確定。
參數
說明
協議
指定允許的網路通訊協定類型。預設為TCP。
說明如果您的網路連接用於Kerberos認證,建議選擇開放88連接埠的UDP協議。有關Kerberos認證更多資訊,請參見開啟Kerberos身份認證。
訪問來源
填寫前一步驟中擷取的指定交換器的網段。
重要為防止被外部的使用者攻擊導致安全問題,授權對象禁止填寫為0.0.0.0/0。
訪問目的(本執行個體)
指定允許訪問的目標連接埠號碼。例如,9083。
後續操作
新增網路連接並配置安全性群組規則後,您可以在SQL會話、Notebook會話或批任務中選擇該網路連接,訪問VPC內的資料來源。以訪問自有VPC中的Hive Metastore為例,完整的配置與使用流程請參見讀寫HMS。