本文介绍如何在E-MapReduce上配置Knox，以通过公网方式访问HDFS、YARN、Spark和Ganglia等Web UI页面。

前提条件

已创建E-MapReduce集群，详情请参见创建集群。

准备工作

  • 设置安全组访问：
    1. 获取您当前设备的公网访问IP地址。

      为了安全的访问集群组件，在设置安全组策略时，推荐您只针对当前的公网访问IP地址开放。获取您当前公网访问IP地址的方法是，访问IP地址，即可查看您当前的公网访问IP地址。

    2. 添加8443端口：
      1. 在阿里云E-MapReduce控制台，集群详情页面的网络信息区域，单击安全组ID链接。
      2. 在安全组规则页面，单击添加安全组规则。
      3. 在添加安全组规则对话框中，端口范围填写8443/8443。
      4. 授权对象填写步骤i中获取的公网访问IP地址。
      5. 单击确定。
    注意
    • 为防止被外部的用户攻击导致安全问题，授权对象禁止填写为0.0.0.0/0。
    • 如果您创建集群时，没有挂载公网IP，可以在ECS控制台为该ECS实例添加公网IP。添加成功后，返回EMR控制台，在集群管理下的主机列表页面，单击同步主机信息可以立即同步主机信息。
    • Knox节点新挂载公网IP后，需要提交工单处理，进行域名和公网IP的绑定操作。
  • 设置Knox用户

    访问Knox时需要验证身份，即需要输入您的用户名和密码。Knox的用户身份验证基于LDAP，您可以使用自有LDAP服务，也可以使用集群中Apache Directory Server的LDAP服务。

    • 使用集群中的LDAP服务

      方式一（推荐）

      在集群的用户管理页面，直接添加Knox访问账号，详情请参见用户管理。

      方式二 ：
      1. 通过SSH方式连接集群，详情请参见登录集群。
      2. 准备您的用户数据，例如Tom。
        编辑users.ldif文件。
        su knox
cd /usr/lib/knox-current/templates  
vi users.ldif

        替换文件中所有的emr-guest为Tom，替换EMR GUEST为Tom，设置setPassword的值为您自己的密码。

      3. 导入用户数据至LDAP。 
        su knox
cd /usr/lib/knox-current/templates
sh ldap-sample-users.sh
    • 使用自有LDAP服务的情况：
      1. 在E-MapReduce控制台的Knox服务的配置页面，单击cluster-topo页签。
      2. 配置xml-direct-to-file-content中参数。
        配置项 描述
        main.ldapRealm.userDnTemplate 设置为您的用户DN模板。
        main.ldapRealm.contextFactory.url 设置为您的LDAP服务器域名和端口。
        cluster-topo
      3. 单击右上角的保存。
      4. 在确认修改对话框中，配置各项参数，单击确定。
      5. 在右上角选择操作 > 重启 Knox。
      6. 在执行集群操作对话框中，配置各项参数，单击确定。

        在确认对话框中，单击确定。

      7. 开启Knox访问公网LDAP服务的端口，例如10389。

        您可以参见8443端口的开启步骤，选择出方向，开启10389端口。

使用Knox帐户访问其他组件的Web UI

您可以使用Knox账号访问HDFS、YARN、Spark和Ganglia等Web UI页面。

  • 使用E-MapReduce链接访问：
    1. 登录阿里云E-MapReduce控制台。
    2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
    3. 单击上方的集群管理页签。
    4. 在集群管理页面，单击集群右侧的详情。
    5. 在左侧导航栏，单击访问链接与端口。
    6. 在访问链接与端口页面，单击服务所在行的链接。
  • 使用集群公网IP地址访问：
    1. 在集群基础信息页面，查看公网IP地址。
    2. 在浏览器中访问相应服务的URL。
      • HDFS UI：https://{集群公网IP地址}:8443/gateway/cluster-topo/hdfs/
      • Yarn UI：https://{集群公网IP地址}:8443/gateway/cluster-topo/yarn/
      • SparkHistory UI：https://{集群公网IP地址}:8443/gateway/cluster-topo/sparkhistory/
      • Ganglia UI：https://{集群公网IP地址}:8443/gateway/cluster-topo/ganglia/
      • Storm UI：https://{集群公网IP地址}:8443/gateway/cluster-topo/storm/
      • Oozie UI：https://{集群公网IP地址}:8443/gateway/cluster-topo/oozie/
      • Tez UI：https://{集群公网IP地址}:8443/gateway/cluster-topo/tez-ui2/
      • ImpalaCatalogd UI：https://{集群公网IP地址}:8443/gateway/cluster-topo/impalalog/
      • ImpalaStatestored UI：https://{集群公网IP地址}:8443/gateway/cluster-topo/impalastore/

用户权限管理（ACLs）

Knox提供服务级别的权限管理，可以限制特定的用户、用户组和IP地址访问特定的服务，详情请参见Apache Knox授权。

示例如下：
  • 场景：YARN UI只允许用户Tom访问。
  • 操作步骤：
    1. 在E-MapReduce控制台的Knox的配置页面，单击cluster-topo页签。
    2. 配置xml-direct-to-file-content中参数。
      在<gateway>...</gateway>标签之间添加ACLs代码。
      <provider>
      <role>authorization</role>
      <name>AclsAuthz</name>
      <enabled>true</enabled>
      <param>
          <name>YARNUI.acl</name>
          <value>Tom;*;*</value>
      </param>
</provider>
      说明 其中value填写格式为username;group;ipaddr，分别表示用户，用户组和IP地址。如果无需特别指定时，您可以使用星号（*）代替，以匹配任何值。
    3. 单击右上角的保存。
    4. 在确认修改对话框中，配置各项参数，单击确定。
    5. 在右上角选择操作 > 重启 Knox。
    6. 在执行集群操作对话框中，配置各项参数，单击确定。

      在确认对话框中，单击确定。

    警告 Knox会开放对应服务的REST API，您可以通过各服务的REST API操作服务。例如：HDFS文件的添加、删除等操作。出于安全原因，请勿使用Knox安装目录下的LDAP用户名和密码作为Knox的访问用户。

常见问题

  • Q：Knox组件异常停止，启动Knox的时候报错Failed to start gateway: org.apache.hadoop.gateway.services.ServiceLifecycleException: Gateway SSL Certificate is Expired，具体信息如下图所示。ERROR
  • A：您可以按照以下步骤处理。
    1. 使用SSH登录集群，详情请参见登录集群。
    2. 执行以下命令，将之前错误的证书重命名。
      sudo mv /usr/lib/knox-current/data/security/keystores/gateway.jks /usr/lib/knox-current/data/security/keystores/bak_gateway.jks
      说明 您也可以将之前错误的证书移动到其他目录。
    3. 启动Knox。
      1. 在Knox服务页面，单击Knox操作列的启动。
      2. 在执行集群操作对话框中，输入执行原因，单击确定。
      3. 在确认对话框中，单击确定。

        您可以单击上方的查看操作历史，直至操作状态显示成功。