本文介绍如何在E-MapReduce上配置Knox,以通过公网方式访问HDFS、YARN、Spark和Ganglia等Web UI页面。

前提条件

已创建E-MapReduce集群,详情请参见创建集群

准备工作

  • 设置安全组访问:
    1. 获取您当前设备的公网访问IP地址。

      为了安全的访问集群组件,在设置安全组策略时,推荐您只针对当前的公网访问IP地址开放。访问IP地址,即可查看您当前的公网访问IP地址。

    2. 添加端口:

      本文以添加8443端口为例介绍。

      1. 在EMR控制台集群的基础信息页面的安全区域,单击集群安全组链接。
      2. 安全组规则页面,单击手动添加
      3. 端口范围填写为8443/8443授权对象填写为上一步骤中获取的公网访问IP地址。
      4. 单击保存
    重要
    • 为防止被外部的用户攻击导致安全问题,授权对象禁止填写为0.0.0.0/0
    • 如果您创建集群时,没有挂载公网IP,可以在ECS控制台为该ECS实例添加公网IP。
  • 设置Knox用户

    访问Knox时需要验证身份,即需要输入您的用户名和密码。Knox的用户身份验证基于LDAP,您可以使用集群中Apache Directory Server的LDAP服务。

    • 方式一(推荐)

      在集群的用户管理页面,直接添加Knox访问账号,详情请参见用户管理

    • 方式二 :
      1. 通过SSH方式连接集群,详情请参见登录集群
      2. 准备您的用户数据,例如Tom。
        编辑users.ldif文件。
        su knox
        vim /opt/apps/KNOX/knox-current/templates/users.ldif

        替换文件中所有的emr-guestTom,替换EMR GUESTTom,设置userPassword的值为您自己的密码。

      3. 执行以下命令,导入用户数据至LDAP。
        cd /opt/apps/KNOX/knox-current/templates
        sh ldap-sample-users.sh

访问Web UI

您可以使用Knox账号访问HDFS、YARN、Spark和Ganglia等Web UI页面。

  1. 登录EMR on ECS控制台
  2. 在顶部菜单栏处,根据实际情况选择地域和资源组
  3. 单击目标集群右侧的集群服务
  4. 单击上方的访问链接与端口页签。
  5. 访问链接与端口页面,单击服务所在行的链接。

常见问题

  • Q:Knox组件异常停止,启动Knox的时候报错Failed to start gateway: org.apache.hadoop.gateway.services.ServiceLifecycleException: Gateway SSL Certificate is Expired,具体信息如下图所示。ERROR
  • A:您可以按照以下步骤处理。
    1. 使用SSH登录集群,详情请参见登录集群
    2. 执行以下命令,将之前错误的证书重命名。
      sudo mv /opt/apps/KNOX/knox-current/data/security/keystores/gateway.jks /opt/apps/KNOX/knox-current/data/security/keystores/bak_gateway.jks
      说明 您也可以将之前错误的证书移动到其他目录。
    3. 启动Knox。
      1. 在EMR控制台的集群服务页面,选择KNOX服务区域的more > 启动
      2. 在弹出的对话框中,输入执行原因,单击确定
      3. 确认对话框中,单击确定