您可以在離線任務屬性面板中配置當前任務的運行資源,即為運行當前計算任務所分配的CPU和記憶體資源。本文為您介紹離線任務屬性的運行資源參數配置。
操作步驟
重要
如果當前任務代碼中使用了@required_resource{}註解,則註解的優先順序更高,系統將按照註解來分配運行資源,屬性中此處的設定不會生效。
在Dataphin首頁,在頂部功能表列選擇研發 > 資料研發。
在開發頁面的頂部功能表列選擇專案(Dev-Prod 模式需要選擇環境)。
在左側導覽列中選擇資料處理 > 計算任務,在計算任務列表中單擊目標任務名稱。
在右側邊欄中單擊屬性,在屬性面板的運行資源地區配置CPU和記憶體。
不同任務類型的CPU和記憶體的預設值如下表。
任務類型
CPU(Core)
記憶體(MB)
Python
Shell
0.1
256
Spark on MaxCompute
Spark on Yarn
0.3
2048
MapReduce on MaxCompute
MapReduce on Yarn
0.3
512
說明CPU和記憶體支援分配的最大值為4核16GB。如果為某個計算任務分配的運行資源過多,可能會發生資源搶佔的情況,請合理按需分配運行資源。