計算引擎ETL資源群組提供Serverless彈性計算服務和常駐計算服務,全相容Spark生態,支援離線資料生產。本文介紹Lindorm計算引擎ETL資源群組的開通和管理方法。
前提條件
開通ETL資源群組
登入Lindorm管理主控台。在左上方選擇執行個體所屬的地區。在实例列表頁,單擊目標執行個體ID或者目標執行個體所在行操作列的管理。
-
在实例详情頁的配置信息地區,單擊计算引擎操作列的资源组管理。
-
在资源组详情頁中單擊创建资源组,配置以下內容:
-
资源组类型:選擇ETL。
-
资源组名称:資源群組的名字,僅支援小寫字母和數字,且長度不超過63個字元。例如
etlcg0。 -
是否常驻:即ETL資源群組類型,若選擇不常驻,則使用Serverless彈性計算服務,計算資源按需申請和釋放。若選擇常驻,則計算資源申請後不會釋放。
-
需要配置參數如下:
是否常駐
配置參數
不常驻
单日资源消耗限额:資源量消耗上限,取值範圍為0~100,000,單位為 CUH(1CU 運行一小時),0 表示不限制,當天超過單日限額後無法再提交作業。
CPU上限(核):CPU 資源使用上限,最小值不可小於100,當正在運行節點的 CPU 超過 CPU 限定後,無法再提交作業。
内存上限(GB):記憶體資源使用上限,最小值不可小於400,當正在運行節點的記憶體超過記憶體上限後,無法再提交作業。
授权用户:允許向當前資源群組提交作業的使用者,
*表示允許所有使用者提交作業。常驻
节点规格:Spark叢集工作節點規格。
作业工作节点数:Spark叢集工作節點數量。
-
-
單擊確定,建立ETL資源群組。
提交作業到指定ETL資源群組
在建立資源群組後,您可以通過在作業配置中添加compute-group=${ETLComputeGroupName} 參數,將作業提交到指定的ETL資源群組。配置完成後,作業將在該資源群組中運行,並佔用指定資源群組的資源。
編輯資源群組配置
ETL資源群組在建立後可以修改單日資源消耗限額、CPU上限、記憶體上限和授權使用者。
-
在资源组详情頁面,單擊操作列的编辑,
-
彈出更新资源组的頁面,可以選擇修改以上資訊。
-
修改完成,單擊確定,更新資源群組配置。
通過阿里雲DataWorks訪問ETL資源群組
DataWorks是一站式智能巨量資料開發治理平台,通過DataWorks您可以輕鬆實現向Lindorm計算引擎提交Spark或Spark SQL任務,並編排工作流程實現離線任務調度。詳細文檔請參考:
刪除資源群組
當資源群組不再使用時,可以刪除資源群組。
-
在资源组详情頁面,單擊操作列的
。 -
單擊彈出的删除。
-
單擊確定,刪除ETL資源群組。
在刪除資源群組前單擊執行個體控制台的,確認無作業在當前資源群組運行。刪除資源群組後,後續作業無法再提交到當前資源群組。