创建E-MapReduce集群后,您可以在数据开发中创建项目,并在项目中进行作业的编辑和工作流的调度。新建项目之后,您可以对项目进行管理,为项目关联集群资源、添加项目成员以及设置全局变量。
新建项目
- 单击上方的数据开发。
主账号可以查看该账号下的所有项目列表,RAM用户仅可以查看具有开发权限的项目列表。如需为RAM用户添加项目开发权限,则需要主账号来配置,详情请参见
用户管理。
- 单击右上角的新建项目。
- 在新建项目对话框中,输入项目名称和项目描述,从资源组选择列表中,选择已有的资源组。
说明 如果不指定资源组,项目会加入默认的资源组,资源组使用详情请参见
使用资源组。
- 单击创建。
在项目列表页面,可查看或者操作新增的项目。
查看项目基本信息
- 单击上方的数据开发。
- 在项目列表页面,单击待查看基本信息的项目的项目ID。
- 单击上方的项目管理。
在基本信息页面,可以查看该项目的项目名称、创建时间、Created User和项目描述。
通用配置
注意 开启安全模式后,Shell和Hive类型的作业无法运行。
安全模式适用于,需要对E-MapReduce数据开发运行的作业进行权限管理的场景。
在开启安全模式的项目中提交作业时,默认以当前RAM用户同名的EMR用户执行作业,主账号则以默认hadoop用户执行。开启安全模式后,需要在运行集群的用户管理中添加提交作业的EMR用户,详情请参见用户管理。
用户管理
可以通过以下步骤为RAM用户添加或删除某个项目的开发权限。
- 单击上方的数据开发。
- 在项目列表页面,单击待查看基本信息的项目的项目ID。
- 单击上方的项目管理。
- 在左侧导航栏中,单击用户管理。
- 在用户管理页面,可以进行如下操作:
- 添加用户。
- 单击右上角的添加用户。
- 勾选主账号下的RAM用户到该项目。
- 单击添加。
在用户管理页面,可以查看新增的用户信息。
说明 被添加的RAM用户将成为该项目的成员,拥有查看、开发该项目下的作业和工作流的权限。
- 删除用户。
在用户管理页面,单击待删除用户所在行的删除。
集群设置
通过以下步骤,可以为项目设置集群资源,使该项目中的作业运行在关联的集群上。
- 单击上方的数据开发。
- 在项目列表页面,单击待查看基本信息的项目的项目ID。
- 单击上方的项目管理。
- 在左侧导航栏中,单击集群设置。
- 在集群设置页面,可以进行如下操作:
变量定义
您可以通过以下步骤设置项目级别的自定义变量,这些变量可以被本项目中的作业项目作为全局变量调用。
- 单击上方的数据开发。
- 在项目列表页面,单击待查看基本信息的项目的项目ID。
- 单击上方的项目管理。
- 在左侧导航栏中,单击变量定义。
- 在变量定义页面,可以进行如下操作:
- 添加自定义变量。
- 单击右上角的添加。
- 在添加自定义变量对话框中,设置变量名称和变量值。
可以根据需要,选择是否为变量名的变量值加密。作业中以
${ VariableName}
的形式调用变量。例如,您添加变量名为ENV_ABC,变量值为12345,不勾选
是否为密码。Shell类型作业内容示例如下。
echo ${ENV_ABC}
这里环境变量的设置相当于执行了如下的脚本。
export ENV_ABC=12345
- 单击确定。
在变量定义页面,可查看新增的变量信息。
- 删除自定义变量。
在变量定义页面,单击待删除变量所在行的删除。