创建E-MapReduce集群后，您可以在数据开发中创建项目，并在项目中进行作业的编辑和工作流的调度。新建项目之后，您可以对项目进行管理，为项目关联集群资源、添加项目成员以及设置全局变量。

前提条件

  • 已创建集群，具体请参见创建集群。
  • 已通过主账号登录阿里云E-MapReduce控制台。
    说明 只有主账号才能创建项目、添加项目成员和添加集群资源，即新建项目、用户管理和集群设置只对主账号管理员可见。

新建项目

  1. 单击上方的数据开发。
    主账号可以查看该账号下的所有项目列表，RAM用户仅可以查看具有开发权限的项目列表。如需为RAM用户添加项目开发权限，则需要主账号来配置，详情请参见用户管理。
  2. 单击右上角的新建项目。
  3. 在新建项目对话框中，输入项目名称和项目描述，从资源组选择列表中，选择已有的资源组。
    说明 如果不指定资源组，项目会加入默认的资源组，资源组使用详情请参见使用资源组。
  4. 单击创建。
    在项目列表页面，可查看或者操作新增的项目。

查看项目基本信息

  1. 单击上方的数据开发。
  2. 在项目列表页面，单击待查看基本信息的项目的项目ID。
  3. 单击上方的项目管理。
    在基本信息页面，可以查看该项目的项目名称、创建时间、Created User和项目描述。

通用配置

注意 开启安全模式后，Shell和Hive类型的作业无法运行。

安全模式适用于，需要对E-MapReduce数据开发运行的作业进行权限管理的场景。

在开启安全模式的项目中提交作业时，默认以当前RAM用户同名的EMR用户执行作业，主账号则以默认hadoop用户执行。开启安全模式后，需要在运行集群的用户管理中添加提交作业的EMR用户，详情请参见用户管理。

用户管理

可以通过以下步骤为RAM用户添加或删除某个项目的开发权限。

  1. 单击上方的数据开发。
  2. 在项目列表页面，单击待查看基本信息的项目的项目ID。
  3. 单击上方的项目管理。
  4. 在左侧导航栏中，单击用户管理。
  5. 在用户管理页面，可以进行如下操作：
    • 添加用户。
      1. 单击右上角的添加用户。
      2. 勾选主账号下的RAM用户到该项目。
      3. 单击添加。

        在用户管理页面，可以查看新增的用户信息。

      说明 被添加的RAM用户将成为该项目的成员，拥有查看、开发该项目下的作业和工作流的权限。
    • 删除用户。

      在用户管理页面，单击待删除用户所在行的删除。

集群设置

通过以下步骤，可以为项目设置集群资源，使该项目中的作业运行在关联的集群上。

  1. 单击上方的数据开发。
  2. 在项目列表页面，单击待查看基本信息的项目的项目ID。
  3. 单击上方的项目管理。
  4. 在左侧导航栏中，单击集群设置。
  5. 在集群设置页面，可以进行如下操作：
    • 关联集群资源。
      1. 单击右上角的添加集群。
      2. 从选择集群下拉列表中选择已购买的包年包月或按量付费的集群（不包括通过集群模板创建的集群）。
      3. 单击确定。

        在集群设置页面，可查看新增的集群信息。

    • 取消关联集群资源。

      在集群设置页面，单击集群所在行的删除，取消关联的集群资源。

    • 修改配置。
      1. 在集群设置页面，单击集群所在行的修改配置。
      2. 在修改配置对话框中，设置提交作业到该集群的队列和用户信息。
        参数 描述
        提交作业默认用户 设置项目使用所选集群提交作业时的默认用户，默认值是hadoop，默认用户只能有一个。
        提交作业默认队列 设置项目使用所选集群提交作业时的默认队列，默认作业提交到default队列。
        提交作业用户白名单 设置可以提交作业的用户，如果有多个用户，可以通过英文半角逗号（,）分隔。
        提交作业队列白名单 设置项目中的作业可以运行在所选集群的队列，如果有多个队列，可以通过英文半角逗号（,）分隔。
      3. 配置客户端白名单：配置可以提交作业的客户端，您可以使用Master节点或Gateway节点。通过ECS自建的Gateway暂不支持在此处配置。
      4. 单击确定。

变量定义

您可以通过以下步骤设置项目级别的自定义变量，这些变量可以被本项目中的作业项目作为全局变量调用。

  1. 单击上方的数据开发。
  2. 在项目列表页面，单击待查看基本信息的项目的项目ID。
  3. 单击上方的项目管理。
  4. 在左侧导航栏中，单击变量定义。
  5. 在变量定义页面，可以进行如下操作：
    • 添加自定义变量。
      1. 单击右上角的添加。
      2. 在添加自定义变量对话框中，设置变量名称和变量值。
        可以根据需要，选择是否为变量名的变量值加密。作业中以${ VariableName}的形式调用变量。例如，您添加变量名为ENV_ABC，变量值为12345，不勾选是否为密码。Shell类型作业内容示例如下。 
        echo ${ENV_ABC}
        返回结果如下。 
        12345
        这里环境变量的设置相当于执行了如下的脚本。 
        export ENV_ABC=12345
      3. 单击确定。

        在变量定义页面，可查看新增的变量信息。

    • 删除自定义变量。

      在变量定义页面，单击待删除变量所在行的删除。