全部产品
Search
文档中心

开源大数据平台E-MapReduce:编辑资源队列

更新时间:Dec 22, 2023

资源队列用于管理和调度集群资源,旨在实现资源的灵活分配和优化。通过阿里云EMR控制台,您可以方便地管理资源队列,并关联不同的分区。

前提条件

已创建集群,且集群状态为运行中。创建集群详情,请参见创建集群

使用限制

  • YARN调度器需使用capacity scheduler。

  • 自定义分区相关功能,适用于EMR-5.11.1及之后版本、EMR-3.45.1及之后版本。

关联YARN分区与队列

重要
  • 该功能适用于EMR-5.12.1及之后版本、EMR-3.46.1及之后版本。

  • 如果关闭了分区与队列关联,则会一键清空当前分区已关联的队列。

  1. 进入服务的配置页面。

    1. 登录E-MapReduce控制台

    2. 在顶部菜单栏处,根据实际情况选择地域和资源组

    3. 在EMR on ECS页面,单击目标集群操作列的集群服务

    4. 集群服务页面,单击YARN服务区域的配置

  2. 单击编辑资源队列页签。

  3. 选择分区下拉列表中选择已有的分区。

    默认展示DEFAULT_PARTITION分区,所有队列均可访问该分区。新增分区的具体操作,请参见EMR控制台管理YARN分区

  4. 打开启用分区与队列关联管理开关。

    列表会为您展示可访问当前分区或在当前分区有容量的队列。

  5. 在弹出的对话框中,设置队列容量占比,单击确定

  6. 生效配置。

    1. 单击编辑资源队列页签上方的image.png提示灯。

    2. 在弹出的对话框中,单击配置下发

    3. 单击编辑资源队列页签上方的image.png提示灯。

    4. 单击待生效配置。

新增队列

重要

为叶子队列添加子队列时,必须先停止该队列,才可添加成功,否则会部署失败。

  1. (可选)在YARN服务的编辑资源队列页签,在选择分区下拉列表中选择已有的分区。

    默认展示DEFAULT_PARTITION分区。

  2. 单击管理队列管理子队列

  3. 可以在选择父级队列下拉列表中选择父队列。

    默认root队列。

  4. 管理子队列对话框中,单击新增队列

  5. 设置队列名称队列容量占比状态,单击确定

    同一父队列的所有子队列容量之和须为100%。

  6. 生效配置。

    1. 单击编辑资源队列页签上方的image.png提示灯。

    2. 在弹出的对话框中,单击配置下发

    3. 单击编辑资源队列页签上方的image.png提示灯。

    4. 单击待生效配置。

编辑队列

  1. (可选)在YARN服务的编辑资源队列页签,在选择分区下拉列表中选择已有的分区。

    默认展示DEFAULT_PARTITION分区。

  2. 编辑资源队列页签,单击root队列前的image.png图标。

  3. 单击目标队列操作列的编辑

  4. 编辑对话框中,可以修改以下参数,单击确定

    参数

    说明

    当前队列名称

    队列名称,您可以自定义。仅DEFAULT_PARTITION分区下可以编辑。

    用户最小容量

    单个用户可以使用集群中的资源比例。对应YARN UI的Configured Minimum User Limit Percent参数。

    仅DEFAULT_PARTITION分区下可以编辑。

    用户资源因子

    单个用户最多可使用的资源量与该队列容量的比例。对应YARN UI的Configured user limit factor参数。

    仅DEFAULT_PARTITION分区下可以编辑。

    资源队列状态

    包括开启停止状态。仅DEFAULT_PARTITION分区下可以编辑。

    说明

    在将父队列设置为停止之前,必须先将其下的所有子队列全部停止。

    可访问分区

    队列可以访问的分区。

    说明
    • EMR-5.12.1及之后版本、EMR-3.46.1及之后版本,所有队列默认可访问DEFAULT分区。

    • 子队列的可访问分区默认会继承父队列,但也可根据需要单独进行配置。

    默认分区

    队列默认分区。如果没有进行分区配置,默认为使用仅DEFAULT_PARTITION分区。

  5. 生效配置。

    1. 单击编辑资源队列页签上方的image.png提示灯。

    2. 在弹出的对话框中,单击配置下发

    3. 单击编辑资源队列页签上方的image.png提示灯。

    4. 单击待生效配置。

删除队列

重要
  • 待删除队列状态须为停止,删除才能生效,否则会部署失败。

  • 删除队列前,需保证所有分区下该队列容量为0。

  • 同一父队列的所有子队列容量之和须为100%。

  • 如果您使用的是YARN 2.8.5版本,则在删除队列时,refresh_queues操作将无法生效。您需要在YARN状态页签下手动重启ResourceManager,才能使更改生效。

  1. (可选)在YARN服务的编辑资源队列页签,在选择分区下拉列表中选择已有的分区。

    默认展示DEFAULT_PARTITION分区。

  2. 单击管理队列

  3. 管理子队列对话框中,修改待删除队列的状态为停止队列容量占比为0,单击确定

  4. 生效配置。

    1. 单击编辑资源队列页签上方的image.png提示灯。

    2. 在弹出的对话框中,单击配置下发

    3. 单击编辑资源队列页签上方的image.png提示灯。

    4. 单击待生效配置。

  5. 再次单击管理队列

  6. 管理子队列对话框中,单击待删除队列操作列的删除,单击确定

  7. 生效配置。

    1. 单击编辑资源队列页签上方的image.png提示灯。

    2. 在弹出的对话框中,单击配置下发

    3. 单击编辑资源队列页签上方的image.png提示灯。

    4. 单击待生效配置。