資源隊列用於管理和調度叢集資源,旨在實現資源的靈活分配和最佳化。通過阿里雲EMR控制台,您可以方便地管理資源隊列,並關聯不同的分區。
前提條件
已建立叢集,且叢集狀態為運行中。建立叢集詳情,請參見建立叢集。
使用限制
YARN調度器需使用capacity scheduler。
自訂分區相關功能,適用於EMR-5.11.1及之後版本、EMR-3.45.1及之後版本。
關聯YARN分區與隊列
該功能適用於 EMR-5.12.1及之後版本、EMR-3.46.1及之後版本。
如果關閉了分區與隊列關聯,則會一鍵清空當前分區已關聯的隊列。
進入服務的配置頁面。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
在EMR on ECS頁面,單擊目的地組群操作列的集群服务。
在集群服务頁面,單擊YARN服務地區的配置。
單擊編輯資源隊列頁簽。
在選擇分區下拉式清單中選擇已有的分區。
預設展示DEFAULT_PARTITION分區,所有隊列均可訪問該分區。新增分區的具體操作,請參見EMR控制台管理YARN分區。
開啟啟用分區與隊列關聯管理開關。
列表會為您展示可訪問當前分區或在當前分區有容量的隊列。
在彈出的對話方塊中,設定隊列容量佔比,單擊確定。
生效配置。
單擊編輯資源隊列頁簽上方的
提示燈。在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues。
新增隊列
為葉子隊列添加子隊列時,必須先停止該隊列,才可添加成功,否則會部署失敗。
(可選)在YARN服務的編輯資源隊列頁簽,在選擇分區下拉式清單中選擇已有的分區。
預設展示DEFAULT_PARTITION分區。
單擊管理隊列或管理子隊列。
可以在選擇父級隊列下拉式清單中選擇父隊列。
預設root隊列。
在管理子隊列對話方塊中,單擊新增隊列。
設定隊列名稱、隊列容量佔比和狀態,單擊確定。
同一父隊列的所有子隊列容量之和須為100%。
生效配置。
單擊編輯資源隊列頁簽上方的
提示燈。在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues。
編輯隊列
(可選)在YARN服務的編輯資源隊列頁簽,在選擇分區下拉式清單中選擇已有的分區。
預設展示DEFAULT_PARTITION分區。
在編輯資源隊列頁簽,單擊root隊列前的
表徵圖。單擊目標隊列操作列的編輯。
在編輯對話方塊中,可以修改以下參數,單擊確定。
參數
說明
當前隊列名稱
隊列名稱,您可以自訂。需前往管理隊列或管理子隊列進行編輯。
使用者最小容量
單個使用者可以使用叢集中的資源比例。對應YARN UI的
Configured Minimum User Limit Percent參數。僅DEFAULT_PARTITION分區下可以編輯。
使用者資源因子
單個使用者最多可使用的資源量與該隊列容量的比例。對應YARN UI的
Configured user limit factor參數。僅DEFAULT_PARTITION分區下可以編輯。
資源隊列狀態
包括開啟和停止狀態。僅DEFAULT_PARTITION分區下可以編輯。
說明在將父隊列設定為停止之前,必須先將其下的所有子隊列全部停止。
可訪問分區
隊列可以訪問的分區。
說明EMR-5.12.1及之後版本、EMR-3.46.1及之後版本,所有隊列預設可訪問DEFAULT分區。
子隊列的可訪問分區預設會繼承父隊列,但也可根據需要單獨進行配置。
預設分區
隊列預設分區。如果沒有進行分區配置,預設為使用僅DEFAULT_PARTITION分區。
生效配置。
單擊編輯資源隊列頁簽上方的
提示燈。在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues。
刪除隊列
待刪除隊列狀態須為停止,刪除才會生效,否則會部署失敗。
刪除隊列前,需保證所有分區下該隊列容量為0。
同一父隊列的所有子隊列容量之和須為100%。
如果您使用的是YARN 2.8.5版本,則在刪除隊列時,refresh_queues操作將無法生效。您需要在YARN狀態頁簽下手動重啟ResourceManager,才能使更改生效。
(可選)在YARN服務的編輯資源隊列頁簽,在選擇分區下拉式清單中選擇已有的分區。
預設展示DEFAULT_PARTITION分區。
單擊管理隊列。
在管理子隊列對話方塊中,修改待刪除隊列的狀態為停止,隊列容量佔比為0,單擊確定。
生效配置。
單擊編輯資源隊列頁簽上方的
提示燈。在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues。
再次單擊管理隊列。
在管理子隊列對話方塊中,單擊待刪除隊列操作列的刪除,單擊確定。
生效配置。
單擊編輯資源隊列頁簽上方的
提示燈。在彈出的對話方塊中,單擊相關設定檔操作列refresh_queues。