创建E-MapReduce集群后,用户可以创建工作流项目,使多个作业可以同时或者按照先后顺序运行,以便更好的管理作业的运行。

前提条件

已创建集群,具体请参见创建集群

操作步骤

  1. 通过主账号登录阿里云 E-MapReduce 控制台
    只有主账号才能创建项目、添加项目成员和添加集群资源,即新建项目用户管理集群设置只对主账号管理员可见。
  2. 创建项目。
    1. 单击上方的数据开发
      主账号下可以查看该账号下的所有项目(包括所有子账号创建的项目),子账号仅可以查看具有开发权限的项目。如需添加项目开发权限,需要通过主账号来配置,请参见添加用户
    2. 单击右上角的新建项目
    3. 新建项目对话框中,输入项目名称项目描述
    4. 单击创建
      项目列表页面,可查看或者操作新增的项目。
  3. 添加用户。
    创建新的项目后,您可以为RAM子账号添加该项目的操作权限。
    1. 单击新增项目的项目ID/名称
    2. 单击上方的项目管理
    3. 单击左侧导航树的用户管理
    4. 单击右上角的添加用户,勾选该主账号下的RAM子账号到该项目。
      被添加的子账号将成为该项目的成员,并能查看、开发该项目下的作业和工作流。
    5. 单击添加

      用户管理页面,可查看新增的用户信息。

      如果不想将子账号继续设置为所选项目成员,单击用户右侧的删除即可。

  4. 关联集群资源。
    创建新的项目后,您需要为项目关联集群,使得该项目中的工作流可以运行在关联的集群上。
    1. 单击新增项目的项目ID/名称
    2. 单击上方的项目管理
    3. 单击左侧导航树的集群设置
    4. 单击右上角的添加集群,从下拉菜单中可以选择已购买的包年包月和按量付费集群(执行临时作业创建的集群此处不会列示)。
    5. 单击确定

      集群设置页面,可查看新增的集群信息。

      • 如果想取消关联该集群资源,单击集群所在行的删除
      • 如果想设置提交作业到该集群的队列和用户,单击集群所在行的修改配置
        1. 输入相关信息。
          • 提交作业默认用户:设置项目使用所选集群提交作业时的默认Hadoop用户,默认值是hadoop,默认用户只能有一个。
          • 提交作业默认队列:设置项目使用所选集群提交作业时的默认队列,如果此处不填写,则作业会提交到default队列。
          • 提交作业用户白名单:设置可以提交作业的Hadoop用户,如果有多个用户,可以通过英文半角逗号(,)分隔。
          • 提交作业队列白名单:用于设置项目中的作业可以运行在所选集群的队列,如果有多个队列,可以通过英文半角逗号(,)分隔。
          • 配置客户端白名单:配置可以提交作业的客户端,用户可以使用EMR的Master节点或EMR购买的Gateway。
            说明 ECS自建Gateway暂不支持在此处配置。
        2. 单击确定