DataWorks推出Serverless資源群組,涵蓋原獨享調度資源群組、獨享Data Integration資源群組、獨享資料服務資源群組的核心功能,通過一個資源群組即可完成資料同步、任務調度運行、調用及管理API服務等操作。本文是DataWorks Serverless資源群組的端到端操作指南。遵循本指南,您可以完成從建立、配置網路、綁定工作空間到日常監控與管理的全部流程。
請確保您已閱讀資源群組管理,並瞭解Serverless資源群組的核心概念和優勢。
準備工作
已具備資源群組相關許可權:
購買許可權:擁有
AliyunBSSOrderAccess和AliyunDataWorksFullAccess許可權。同時需要擁有AliyunVPCReadOnlyAccess許可權才能讀取VPC相關資訊。
系統管理權限:僅目標DataWorks工作空間的空間管理員角色可進行資源群組歸屬空間綁定與修改的操作。
不確定如何授權?請參考查看RAM使用者的許可權、為RAM使用者授權。資源群組其他動作的許可權控制,請參見控制台實體物件級許可權管控策略。
環境與網路規劃:
同地區原則:資源群組必須與您的DataWorks工作空間在同一地區。
VPC規劃 (必做):Serverless資源群組強依賴Virtual Private Cloud,請提前準備好一個Virtual Private Cloud及交換器(V-Switch)。
重要請勿隨意變更已綁定至Serverless資源群組的VPC和交換器環境,該操作可能導致DataWorks上的任務執行失敗。
Serverless資源群組不支援使用21網段IP的VPC,即
21.0.X.X到21.255.XXX.XXX範圍內的網址均不可使用。
網路連通:為確保資源群組訪問資料來源(目標網路環境下的資料庫、資料服務或其他資料),請提前根據資料來源情況,瞭解並完成網路連通。
重要Serverless資源群組預設不具備公網訪問能力,如需通過公網訪問資料來源,請為Serverless資源群組綁定的VPC配置公網NAT Gateway和EIP。
建立Serverless資源群組
進入資源群組列表頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。
單擊建立資源群組,進入Serverless資源群組購買頁面。關鍵參數如下:
舊版本使用者操作在預設的獨享資源群組頁簽下。
參數
說明
地區和可用性區域
選擇地區,需要和DataWorks工作空間所在的地區一致。
付費模式
提供預付費的訂用帳戶模式和後付費的隨用隨付模式。
隨用隨付:適合負載波動大或測試情境,不使用不計費。支援隨用隨付轉訂用帳戶。
重要隨用隨付CU上限:單個隨用隨付資源群組的總規格上限為 500 CU。
訂用帳戶:適合長期穩定的生產負載,成本更低。不支援訂用帳戶轉為隨用隨付。
您可以同時購買多個不同計費方式的資源群組,以滿足您的業務需求。
資源群組規格
當付費模式為訂用帳戶時,設定購買的資源群組規格。最小購買數量為2 CU,最小擴容步長為1 CU。
1 CU = 1核CPU + 4GiB記憶體,具體購買建議及運行各任務需要的最低規格要求,請參見效能指標。Virtual Private Cloud
根據資源群組需要連通的專用網路來選擇。若下拉式清單沒有選項,需要前往VPC控制台進行建立。
關於Virtual Private Cloud的更多資訊,詳情請參見什麼是Virtual Private Cloud。
資料來源與Serverless資源群組同帳號同地區:配置資料來源所在的VPC和交換器。
資料來源在其他複雜網路環境下:您還需通過VPN網關或Express Connect等方式,將Serverless資源群組綁定的VPC與資料來源所在的VPC網路打通。詳情請參見網路連通方案。
重要資源群組支援綁定多個VPC,您可以在購買完成後為其綁定其他VPC。
若資源群組付費模式為訂用帳戶,則此處配置的VPC被應用於資料服務、資料計算和Data Integration後,資料服務無法再新綁定專用網路或更換專用網路,請提前規劃。
交換器(V-Switch)
計費周期
當付費模式為訂用帳戶時,需要設定計費周期。
重要建議選中到期自動續約,可避免因資源到期停機或釋放而影響業務。勾選後,自動續約周期為每月,在執行個體到期前會以即時價格自動計費。
服務關聯角色
首次購買時需要建立服務關聯角色(AliyunServiceRoleForDataWorks),後續會預設關聯已建立的角色。
此角色用於訪問Virtual Private Cloud、彈性網卡ENI和安全性群組資源。遇到
Please create AliyunServiceRoleForDataWorks提示時,請將此授權地址提供給主帳號或其他有許可權的人員進行授權,然後繼續操作。
資源群組配置與使用
1、為工作空間綁定資源群組
建立資源群組後,還需要將其與工作空間綁定。綁定完成後,才可以在目標工作空間建立各項任務時選擇並使用Serverless資源群組。
建立工作空間時綁定資源群組
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的工作空間,進入工作空間列表頁面。
單擊建立工作空間,在建立工作空間頁面,修改進階設定中的參數DataWork工作空間預設資源群組的取值為已建立的目標資源群組。
為已有工作空間綁定資源群組
進入資源群組列表頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。
單擊目標資源群組右側操作列的綁定工作空間,找到待綁定的工作空間後,單擊操作列的綁定。
2、配置網路連通
您需要完成網路連通的相關配置,使資源群組可以訪問到資料來源,這是保障任務正常啟動並執行關鍵步驟。Serverless 資源群組本身不帶公網出口。
情境一:訪問VPC內資料來源 (如 RDS, ECS自建資料庫)
只需確保資源群組綁定的VPC與資料來源VPC相同,或已通過CEN、VPC對等串連等方式打通。
情境二:訪問公網地址
您必須為資源群組綁定的VPC配置NAT Gateway和EIP,以賦予其訪問公網的能力。
情境三:訪問本地IDC
您需要通過VPN網關或Express Connect將您的VPC和IDC網路打通。
更多複雜的網路情境,請參考網路連通方案。
3、在任務中使用資源群組
Serverless資源群組建立並配置完成後,您需要為Data Integration、資料調度、資料服務等任務配置資源群組,以便在各項任務中應用Serverless資源群組。
對於Data Integration任務:在同步任務的資源群組配置選項,選擇您建立的 Serverless 資源群組。

對於資料開發工作單位 (Shell, Python等):在節點編輯頁面的右側中,選擇您建立的 Serverless 資源群組。

對於資料服務API:在 API 配置頁面的右側服務資源群組中,選擇您建立的 Serverless 資源群組。

查看所有涉及資源群組,請參見通用參考:切換資源群組。
資源群組營運與監控
給任務分配CU配額
您可為資料計算、Data Integration和資料服務等分別配置資源群組的CU上限(最大值)或CU保障(最小值),以確保各項任務能夠順利運行。
隨用隨付資源群組配置CU上限,防止資源使用過多。
訂用帳戶資源群組配置CU保障,設定最低CU保障額度。
操作說明:在資源群組列表頁,單擊目標資源群組操作列的
> 配額管理,然後修改不同用途的CU上限或CU保障取值。
您也可在資源群組列表頁,單擊目標資源群組名稱,進入資源群組詳情頁面。在右上方單擊配額管理,然後修改不同用途的CU上限或CU保障取值。
單任務CU建議:對於Python、Notebook、PyODPS等計算型任務,單個任務建議配置不超過16 CU(上限為64CU),以獲得最佳的啟動和運行穩定性。同步任務中,除即時同步任務外,其它類型的任務,單個任務最多可以分配16 CU。
調度並發上限調整
在資料調度情境下,您可以手動設定任務並發上限,控制最大允許多少個任務同時執行。此處配置與任務執行無關,不限制任務執行行為。單個資源群組預設最多可同時運行50個調度任務,最大可調整至200個。
操作說明:在資源群組列表頁,單擊目標資源群組操作列的
> 資料調度並發上限,然後修改資料調度並發上限取值。
您也可在資源群組列表頁,單擊目標資源群組名稱,進入資源群組詳情頁面。在右上方單擊資料調度並發上限,然後修改資料調度並發上限取值。
查看資源群組使用率
當訂用帳戶資源群組的計算資源較高時,新提交的任務可能由於CU不足而進入排隊等待狀態,直到有可用資源。您可使用如下方式查看運行在該資源群組上的任務、資源群組當前使用率、記錄點資源的使用方式以及每個任務佔用的資源量。
操作說明:在資源群組列表頁,查看目標資源群組當前利用列展示的資源群組使用率。
您也可在資源群組列表頁,單擊目標資源群組名稱,進入資源群組詳情頁面。通過資源使用量曲線回顧記錄點資源的使用方式,並按照資源群組使用情境查看各情境下正在運行或等待啟動並執行任務詳情。
資源群組擴縮容
若您在訂用帳戶資源群組詳情頁查看到資源群組使用率過高,可以手動擴容資源群組規格,從而提升Data Integration、任務調度、資料服務的任務處理效能。若訂用帳戶資源群組實際使用率較低,可手動縮容資源群組規格,從而節約成本。
在資源群組列表,單擊目標資源群組操作列的
> 擴容或縮容。重要縮容可能導致任務變慢,請評估後謹慎操作。
在資源群組變更配置頁面,調整資源群組規格後,勾選服務合約,單擊立即購買。
資源群組成本管理
凍結和啟用隨用隨付資源群組
凍結隨用隨付Serverless資源群組:若隨用隨付Serverless資源群組在7天內沒有被使用,則該資源群組將會被凍結,您可在資源群組列表頁查看資源群組狀態。以下情境均視為資源群組未被使用:
調度任務:資源群組未被用於運行任何調度型任務。
資料計算任務:資源群組未被用於執行計算型任務。
Data Integration任務:資源群組未被用於運行Data Integration任務。
資料分析查詢:資源群組未被用於執行資料分析查詢。
連通性測試:資源群組未被用於進行連通性測試。
中繼資料採集:資源群組未被用於中繼資料採集任務。
個人開發環境:資源群組未被用於個人開發環境。
資料服務:資源群組未被用於支援資料服務。
大模型服務:資源群組未被用於支援大模型服務。
啟用凍結的Serverless資源群組:若您需要重新啟用凍結的Serverless資源群組,請在資源群組列表頁,找到目標資源群組,單擊操作列的。
隨用隨付轉訂用帳戶
隨用隨付的Serverless資源群組可以將付費類型轉為訂用帳戶。轉換成功後,該資源群組將以訂用帳戶資源群組單價進行計費。
在資源群組列表,單擊目標資源群組操作列的
按鈕,選擇付費類型轉換,進入隨用隨付轉訂用帳戶彈窗。在彈窗內,您可按照需求調整資源群組的目標規格和購買時間長度。
調整完畢後,單擊確認,進入阿里雲收銀台訂購即可。
隨用隨付Serverless資源群組轉換為訂用帳戶資源群組時,轉換時間長度約1~2分鐘,任務不會受到影響。
資源群組續約和退訂
在資源群組列表頁,查看執行個體狀態時:若資源群組顯示已到期,請單擊目標資源群組操作列的
> 續約。
如需退訂Serverless資源群組,您可單擊目標資源群組操作列的
> 退訂,完成資源群組的退訂,詳情請參見停用計費說明。
常見問題
Q:購買是否有地區限制?
A:購買限制如下。
若您需要在虛商環境下使用Serverless通用型資源群組,請先確認您所對應的供應商是否已支援售賣該商品。
暫不支援泰國(曼穀)地區購買。
Q:Serverless資源群組如何訪問Host地址?
A:Serverless資源群組不支援直接存取Host,如有需要您可通過內網DNS解析 (PrivateZone)對Host進行解析訪問。
- 說明
如已開通內網DNS解析您可忽略此步驟。
以主機網域名稱
header-1-cn-shanghai為例,對網域名稱header-1-cn-shanghai進行權威解析,您可根據自己主機網域名稱配置情況調整該參數。解析記錄值為網域名稱綁定Host對應的
私人IP地址。設定網域名稱生效範圍的VPC時,您需選擇資源群組綁定的VPC。