全部產品
Search
文件中心

E-MapReduce:YARN隊列管理

更新時間:Feb 15, 2025

資源隊列用於管理和調度叢集資源,旨在實現資源的靈活分配和最佳化。通過阿里雲EMR控制台,您可以方便地管理資源隊列,並關聯不同的分區。

前提條件

已建立叢集,且叢集狀態為運行中。建立叢集詳情,請參見建立叢集

使用限制

  • YARN調度器需使用capacity scheduler。

  • 自訂分區相關功能,適用於EMR-5.11.1及之後版本、EMR-3.45.1及之後版本。

關聯YARN分區與隊列

重要
  • 該功能適用於 EMR-5.12.1及之後版本、EMR-3.46.1及之後版本。

  • 如果關閉了分區與隊列關聯,則會一鍵清空當前分區已關聯的隊列。

  1. 進入服務的配置頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 在EMR on ECS頁面,單擊目的地組群操作列的集群服务

    4. 集群服务頁面,單擊YARN服務地區的配置

  2. 單擊編輯資源隊列頁簽。

  3. 選擇分區下拉式清單中選擇已有的分區。

    預設展示DEFAULT_PARTITION分區,所有隊列均可訪問該分區。新增分區的具體操作,請參見EMR控制台管理YARN分區

  4. 開啟啟用分區與隊列關聯管理開關。

    列表會為您展示可訪問當前分區或在當前分區有容量的隊列。

  5. 在彈出的對話方塊中,設定隊列容量佔比,單擊確定

  6. 生效配置。

    1. 單擊編輯資源隊列頁簽上方的image.png提示燈。

    2. 在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues

新增隊列

重要

為葉子隊列添加子隊列時,必須先停止該隊列,才可添加成功,否則會部署失敗。

  1. (可選)在YARN服務的編輯資源隊列頁簽,在選擇分區下拉式清單中選擇已有的分區。

    預設展示DEFAULT_PARTITION分區。

  2. 單擊管理隊列管理子隊列

  3. 可以在選擇父級隊列下拉式清單中選擇父隊列。

    預設root隊列。

  4. 管理子隊列對話方塊中,單擊新增隊列

  5. 設定隊列名稱隊列容量佔比狀態,單擊確定

    同一父隊列的所有子隊列容量之和須為100%。

  6. 生效配置。

    1. 單擊編輯資源隊列頁簽上方的image.png提示燈。

    2. 在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues

編輯隊列

  1. (可選)在YARN服務的編輯資源隊列頁簽,在選擇分區下拉式清單中選擇已有的分區。

    預設展示DEFAULT_PARTITION分區。

  2. 編輯資源隊列頁簽,單擊root隊列前的image.png表徵圖。

  3. 單擊目標隊列操作列的編輯

  4. 編輯對話方塊中,可以修改以下參數,單擊確定

    參數

    說明

    當前隊列名稱

    隊列名稱,您可以自訂。需前往管理隊列或管理子隊列進行編輯。

    使用者最小容量

    單個使用者可以使用叢集中的資源比例。對應YARN UI的Configured Minimum User Limit Percent參數。

    僅DEFAULT_PARTITION分區下可以編輯。

    使用者資源因子

    單個使用者最多可使用的資源量與該隊列容量的比例。對應YARN UI的Configured user limit factor參數。

    僅DEFAULT_PARTITION分區下可以編輯。

    資源隊列狀態

    包括開啟停止狀態。僅DEFAULT_PARTITION分區下可以編輯。

    說明

    在將父隊列設定為停止之前,必須先將其下的所有子隊列全部停止。

    可訪問分區

    隊列可以訪問的分區。

    說明
    • EMR-5.12.1及之後版本、EMR-3.46.1及之後版本,所有隊列預設可訪問DEFAULT分區。

    • 子隊列的可訪問分區預設會繼承父隊列,但也可根據需要單獨進行配置。

    預設分區

    隊列預設分區。如果沒有進行分區配置,預設為使用僅DEFAULT_PARTITION分區。

  5. 生效配置。

    1. 單擊編輯資源隊列頁簽上方的image.png提示燈。

    2. 在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues

刪除隊列

重要
  • 待刪除隊列狀態須為停止,刪除才會生效,否則會部署失敗。

  • 刪除隊列前,需保證所有分區下該隊列容量為0。

  • 同一父隊列的所有子隊列容量之和須為100%。

  • 如果您使用的是YARN 2.8.5版本,則在刪除隊列時,refresh_queues操作將無法生效。您需要在YARN狀態頁簽下手動重啟ResourceManager,才能使更改生效。

  1. (可選)在YARN服務的編輯資源隊列頁簽,在選擇分區下拉式清單中選擇已有的分區。

    預設展示DEFAULT_PARTITION分區。

  2. 單擊管理隊列

  3. 管理子隊列對話方塊中,修改待刪除隊列的狀態為停止隊列容量佔比為0,單擊確定

  4. 生效配置。

    1. 單擊編輯資源隊列頁簽上方的image.png提示燈。

    2. 在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues

  5. 再次單擊管理隊列

  6. 管理子隊列對話方塊中,單擊待刪除隊列操作列的刪除,單擊確定

  7. 生效配置。

    1. 單擊編輯資源隊列頁簽上方的image.png提示燈。

    2. 在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues