本文介绍如何通过SSH隧道方式访问开源组件的Web UI。
前提条件
- 已创建集群,详情请参见创建集群。
- 确保集群所在的安全组已开放22端口。您可以在创建集群时打开远程登录开关,也可以在集群创建好之后手动添加安全组规则,具体操作请参见添加安全组规则。
说明 在安全组规则中手动添加入方向规则:其中授权类型为IPv4地址段访问,端口为22/22。
- 确保本地服务器与集群主节点网络连通。您可以在创建集群时打开挂载公网开关,或者在集群创建好之后在ECS控制台上为主节点挂载公网,为主节点ECS实例分配固定公网IP或EIP,详情请参见绑定弹性网卡。
背景信息
在E-MapReduce集群中,为保证集群安全,Hadoop、Spark和Flink等开源组件的Web UI的端口均未对外开放。您可以通过控制台的方式访问Web UI,也可以通过在本地服务器上建立SSH隧道以端口转发的方式来访问Web
UI,端口转发方式包括端口动态转发和本地端口转发两种。
如果您需要通过控制台的方式访问Web UI时,请参见访问链接与端口。
获取主节点的公网IP地址
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域(Region)和资源组。
- 单击上方的集群管理页签。
- 在集群管理页面,单击相应集群所在行的详情。
- 在集群基础信息页面的主机信息区域,获取主节点的公网IP地址。
获取主节点的主机名
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域(Region)和资源组。
- 单击上方的集群管理页签。
- 在集群管理页面,单击相应集群所在行的详情。
- 在左侧导航栏,单击主机列表。
- 在主机列表页面,查看主节点公网IP地址对应的主机名。
使用动态端口转发方式
创建从本地服务器开放端口到集群主节点的SSH隧道,并运行侦听该端口的本地SOCKS代理服务器,端口的数据会由SSH隧道转发到集群主节点。
- 创建SSH隧道。
相关参数描述如下:
8157
:本地服务器端口以8157
为例,实际配置时,您可使用本地服务器未被使用的任意一个端口。
-D
:表示使用动态端口转发,启动SOCKS代理进程并侦听用户本地端口。
- 主节点公网IP地址:获取方式请参见获取主节点的公网IP地址。
- 配置浏览器。
注意 完成隧道创建之后,请保持终端打开状态,此时并不会返回响应。
完成动态转发配置以后,您可以从以下两种方式中选择一种来进行浏览器配置。
使用本地端口转发方式
注意 此方式只能查看最外层的页面,无法查看详细的作业信息。
您可以通过SSH本地端口转发(即将主实例端口转发到本地端口),访问当前主节点上运行的网络应用界面,而不使用SOCKS代理。
- 在本地服务器终端输入以下命令,创建SSH隧道。
- 保持终端打开状态,打开浏览器中,在浏览器地址栏输入http://localhost:8157/。