全部產品
Search
文件中心

DataWorks:資源規劃和配置

更新時間:Jul 04, 2025

在調用API時會消耗一定的資源群組,為了防止資源群組不能正常訪問資料來源,或資源(CPU、記憶體)不足導致API調用異常、高頻調用請求被限流等問題,您需要確保資源群組的網路連通性和充足的效能。本文為您介紹資源群組規劃時的注意項及不同資源群組類型的使用建議。

基本概念

資源群組是指資料服務的API調用請求運行所佔的計算資源。通常資源群組以機器的形式展現,即CPU、記憶體和頻寬的大小。API調用流程為:使用者發起API調用請求,調用請求會先被API Gateway接收,再被轉寄至資料服務的伺服器,最後被轉寄至目標資料來源中執行資料查詢。

資源群組分類

資源群組可分為公用資源群組和獨享資源群組兩類。

  • 獨享資源群組(推薦使用):

    購買後可獨佔使用的資源群組。在需要保障高並發和高頻率的API調用時,您可以使用Serverless資源群組(推薦)或獨享資料服務資源群組

    說明

    僅華東2(上海)支援使用獨享資料服務資源群組。

  • 公用資源群組(僅用於測試):

    DataWorks提供的、所有使用者可共用使用的資源群組,公用資源群組使用高峰期可能會出現不同使用者間搶佔資源的情況。更多公用資源群組的介紹可參見使用公用資源群組

資源規劃關鍵:連通性和效能

您在使用資源群組時,需要關注資源群組的連通性和效能兩方面:

  • 連通性:

    發起API調用請求時,請求會下發至資料服務的伺服器,並被進一步轉寄至資料來源中執行資料查詢,因此需要保證資源群組可以訪問相應的資料來源及其所在的網路。您需要在保證網路連通的前提下,再使用資料服務;如果網路不通,會導致API調用請求無法執行。

  • 效能:

    執行API調用任務時,會佔用資源群組所在機器的CPU、記憶體和網路等資源。如果資源不足,會導致API調用異常、高頻調用請求被限流,以及無法及時返回查詢結果等問題。您需要給予API調用任務充足的資源,以保障API調用請求的順利執行。建議您使用獨享資源群組,將發起的API調用任務運行在獨立的環境中,無需受到公用資源集區的影響。獨享資源群組的效能指標可參見獨享資料服務資源群組計費說明:訂用帳戶

資源群組對比和建議

兩種類型的資源群組適用於不同的情境,以下通過在資源群組歸屬、網路連通、收費方式、實際效能等維度為您對比展示各資源群組的現狀。您建立API時,可以根據自身需求選擇合適的資源群組。

類別

獨享資源群組

公用資源群組

機器資源歸屬

由DataWorks維護,是每個租戶自身獨佔使用的計算資源。

由DataWorks維護,是所有租戶競爭使用的共用資源。

網路

支援公網、阿里雲VPC網路(執行個體模式&串連串模式)、IDC網路下的資料來源。

支援公網、阿里雲VPC(執行個體模式)、阿里雲傳統網路下的資料來源。

說明

深圳金融雲暫不支援使用公用資源群組訪問傳統網路下的資料來源。

收費方式

根據資源群組的規格,訂用帳戶計費。

根據調用次數和調用時間長度用量,以階梯價的形式按量收費。

支援的資料來源

ClickHouse、Hologres、RDS、MySQL、PostgreSQL、SQL Server、Oracle、Table Store、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、MongoDB、DRDS、StarRocks、Doris(持續豐富中)

Hologres、RDS、MySQL、PostgreSQL、SQL Server、Oracle、Table Store、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、MongoDB、DRDS

最大每秒請求數(QPS)

不同規格獨享資源群組的QPS閾值不同:

  • Serverless資源群組最低支援125 QPS。

  • 獨享資料服務資源群組最低支援500 QPS。

可根據實際需求靈活選擇不同規格資源群組來保障不同QPS量級。

說明

一個獨享資源群組可以綁定至多個工作空間、多個API。

當API調用量超過各規格資源群組的QPS閾值後,將觸發系統限流,API調用失敗。

每個租戶帳號、每個地區最高支援200 QPS ,如需提高QPS閾值,請切換為獨享資源群組。

當API調用量超過200 QPS時,將觸發系統限流,API調用失敗。

逾時時間長度限制

30s

10s

可靠性

安全性

適用情境

高並發、高頻率的線上調用,複雜的查詢語句,海量資料返回。

低並發、低頻率的調用情境

推薦指數

★★★★★

★★★

說明
  • 注釋①:獨享資源群組的QPS閾值是基於實際業務情境進行測算得出,您可以參考以下資訊估算QPS閾值。

    • 是否以指令碼模式產生API。

    • API是否開啟返回結果分頁功能。

    • API內配置的SQL在資料來源平均執行時間長度為100毫秒。

    • API單次調用返回資料的平均大小為3000位元組。

    因此,如果您的實際業務情境與上述資料有較大出入,請加入DataWorksDingTalk群諮詢支援人員,我們會根據您的實際業務情境推薦合適的資源群組規格。

根據上表兩種類型的對比,推薦您使用獨享資源群組來進行API調用。

資源群組配置引導

為Serverless資源群組配置資料服務配額

如果您的資料服務使用Serverless資源群組,則在佈建服務資源群組選擇獨享服務資源群組前,需要為Serverless資源群組配置資料服務配額。

說明

若沒有為Serverless資源群組配置資料服務配額,會導致以下問題:

  • 測試資料來源與資料服務資源群組網路連通性時,網路無法連通。

  • 資料服務資源群組配置獨享服務資源群組時,無法選中目標資源群組。

  1. 進入資源群組列表頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。

  2. 單擊Serverless資源群組操作列image,選擇配額管理,對資料服務分配當前佔用CU(隨用隨付資源群組選擇)或CU保障(訂用帳戶資源群組選擇)。

    隨用隨付資源群組

    訂用帳戶資源群組

    image

    image

  3. 完成當前佔用CU分配後,單擊確認進行儲存。

  4. 進入資料服務頁面,重新設定獨享服務資源群組。

    image