通过网络连接功能,EMR Serverless Spark可以访问自有VPC(Virtual Private Cloud)内的数据源、服务器和其他服务。本文介绍如何新增网络连接,以及如何为目标服务配置安全组规则。
前提条件
已创建Serverless Spark工作空间,详情请参见创建工作空间。
使用限制
当前仅支持使用下列可用区的交换机。
新增网络连接
-
进入网络连接页面。
-
在左侧导航栏,选择。
-
在Spark页面,单击目标工作空间名称。
-
在EMR Serverless Spark页面,单击左侧导航栏中的网络连接。
-
在网络连接页面,单击新增网络连接。
-
在新增网络连接对话框中,配置以下信息,单击确定。
参数
说明
连接名称
输入新增连接的名称。
专有网络
选择与EMR集群相同的专有网络。
如果当前没有可选择的专有网络,请单击创建专有网络,前往专有网络控制台创建,详情请参见专有网络与交换机。
说明如果您的Serverless Spark需要访问公网,则必须确保添加的网络连接具备公网访问能力。例如,可以在VPC中部署一个公网NAT网关,以便Serverless Spark实例通过该网关访问公网。更多详情,请参见公网 NAT 网关。
交换机
选择与EMR集群部署在同一专有网络下的交换机。
如果当前可用区没有交换机,请单击虚拟交换机,前往专有网络控制台创建,详情请参见创建和管理交换机。
重要仅支持选择特定可用区下的交换机,详情请参见使用限制。
当状态显示为已成功时,表示新增网络连接成功。

配置安全组规则
新增网络连接后,还需要在目标服务所在集群的安全组中放通该网络连接所用交换机的网段,Serverless Spark才能访问该服务。以访问EMR on ECS集群为例,操作步骤如下。
-
获取已创建网络连接中指定交换机的网段。
您可以登录专有网络管理控制台的交换机页面,获取交换机的网段。
-
添加安全组规则。
-
在EMR on ECS页面,单击目标集群的集群ID。
-
在基础信息页面的安全区域,单击集群安全组后面的链接。
-
在安全组详情页面的访问规则区域,单击增加规则,填写以下信息,然后单击确定。
参数
说明
协议
指定允许的网络通信协议类型。默认为TCP。
说明如果您的网络连接用于Kerberos认证,建议选择开放88端口的UDP协议。有关Kerberos认证更多信息,请参见开启Kerberos身份认证。
访问来源
填写前一步骤中获取的指定交换机的网段。
重要为防止被外部的用户攻击导致安全问题,授权对象禁止填写为0.0.0.0/0。
访问目的(本实例)
指定允许访问的目标端口号。例如,9083。
后续操作
新增网络连接并配置安全组规则后,您可以在SQL会话、Notebook会话或批任务中选择该网络连接,访问VPC内的数据源。以访问自有VPC中的Hive Metastore为例,完整的配置与使用流程请参见读写HMS。