在MaxCompute中,若需要使用模型傳輸大規模資料且對傳輸穩定性和延遲有要求時,可以使用獨享Data Transmission Service資源群組。獨享Data Transmission Service資源群組可以提供更高的資料轉送速度和更好的網路條件,以減少傳輸時間並提高效率。本文介紹如何購買和使用該類資源。
背景資訊
MaxCompute當前在各個地區均提供了免費的公用Data Transmission Service資源群組,為該地區下所有客戶提供Data Transmission Service;
同時也提供了獨享Data Transmission Service資源群組(訂用帳戶),以保障更好的資料同步穩定性和更多的同步並發數。兩類資源群組的對比介紹如下。
資源群組類型 | 費用說明 | 支援地區 | 使用注意事項 |
公用Data Transmission Service資源群組 | 免費 | 當前MaxCompute的所有地區 |
|
獨享Data Transmission Service資源群組(訂用帳戶) | 訂用帳戶,按購買並發數的數量計費,計費詳情見下文獨享Data Transmission Service資源群組定價。 |
| 購買獨享Data Transmission Service資源群組後,MaxCompute會保障您的資源獨享,購買的資源會完全鎖定僅供您使用,其它租戶不能使用。保障了資料轉送資源的獨享性,也提高資料轉送的穩定性。 |
適用範圍
購買使用獨享資料服務資源群組前,需要檢查當前的網路和地區條件是否滿足要求:
網路限制:只支援雲上VPC網路訪問,暫時不支援公用網路訪問。
地區限制:只支援同地區的Data Transmission Service,暫時不支援跨地區的Data Transmission Service,需要根據資料轉送任務的地區購買對應地區的資源群組。
其他使用限制請參考Data Transmission Service使用限制。
購買獨享資料服務資源群組
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,選擇 。
在Quota管理頁面,單擊新购Quota。
在購買頁面,規格類型處選擇Data Transmission Service。
根據需要配置Data Transmission Service並發。
完成購買後返回控制台,在Quota管理頁面將會出現一個Quota类型為数据传输服务的Quota組,在該Quota組上可以進行升配、降配和續約相關操作。
使用獨享資料服務資源群組
在進行資料轉送或Data Integration作業時,可以根據不同的業務需求,靈活指定作業使用的獨享資料服務資源群組,以提高資料處理效率。
通過本地用戶端(odpscmd)或其他串連工具訪問MaxCompute專案,啟用獨享Data Transmission Service資源群組。
setproject odps.tunnel.enable.quota.route.v2=true;說明請確保MaxCompute SDK已升級為V0.45及以上版本。
為所有帳號(包括阿里雲帳號)和角色授權Quota功能使用許可權。
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,選擇 。
在租户管理頁面,單擊角色管理頁簽。
在角色管理頁簽,單擊新增角色,在彈出的新增角色對話方塊,填寫自訂角色名称和policy内容,然後單擊確定完成建立。
policy内容配置如下:
{ "Statement": [{ "Action": [ "odps:List", "odps:Usage"], "Effect": "Allow", "Resource": ["acs:odps:*:regions/*/quotas/*"]}], "Version": "1" }將角色授權給需要進行作業層級指定Quota的帳號。
給阿里雲帳號授權。
-- 將阿里雲帳號加到租戶內並給阿里雲帳號授權角色。 ADD tenant USER <Aliyun$xxxx>; GRANT tenant role <role_name> TO USER <Aliyun$xxxx>; -- 查看租戶role/user的許可權。 SHOW grants FOR tenant role <role_name>; SHOW grants FOR tenant USER <user_name>; SHOW principals FOR tenant [role] <role_name>;對RAM使用者授權。
在租户管理頁面,單擊用户管理頁簽。
在用户管理頁簽,單擊新增成员,在彈出的添加成员對話方塊,勾選或手動添加需要設定角色的帳號。在批量设置角色地區選取項目要為這些帳號配置的角色,單擊
,然後确定,完成配置。
在Data Transmission Service任務的SDK中手工指定Quota組。
-- 使用Quota名稱為XXX的資源群組進行Data Transmission Service。 final TableTunnel tunnel = new TableTunnel(odps); tunnel.getConfig().setQuotaName("xxx"); TableTunnel.UploadSession up = tunnel.createUploadSession(projectName, tableName); -- 可以擷取到session實際在使用的資源群組。 up.getQuotaName();在左側導覽列,選擇 。
在左側導覽列,選擇 。
可以查看並複製QuotaName,例如:
ot_42854300324****_169821756****_p#ot_42854300324****_169821756****。
查看資源群組指標
在Quota管理頁面,單擊目標Quota對應操作列的资源消耗。
查看當前Data Transmission Service(訂用帳戶)獨享資源群組的使用方式。
指標名稱 | 說明 |
请求并发数 | 根據過濾條件展示對應Slot用量的曲線圖,包含當前用量和Quota用量上限,單位為Slot。 |
吞吐量 | 根據過濾條件展示對應輸送量的曲線圖,單位以縱座標展示單位為準,如B/min或MB/min。 |
表级别请求并发数 | 展示過濾條件下,使用Tunnel Batch方式上傳到testtable表的並發數曲線圖,單位為Slot。 過濾條件可選擇使用方式(例如:Tunnel Batch上傳)及表名称(例如:testtable)。 |
表级别IP吞吐量 | 展示過濾條件下,使用Tunnel Batch方式上傳testtable表的各訪問來源IP的輸送量曲線圖。 過濾條件可選擇使用方式(例如:Tunnel Batch上傳)及表名称(例如:testtable)。 |
总请求数和错误请求数 | 根據過濾條件展示對應的總請求數和各類錯誤請求數量。其中:
|
数据量汇总 | 根據過濾條件展示對應時間範圍內,不同使用方式的資料量匯總,並通過餅圖展示不同使用方式的佔比。 |
槽位平均传输速率 | 展示過濾條件下,使用Tunnel Batch方式上傳的請求單個Slot的平均傳輸速率。 過濾條件可選擇使用方式(例如:Tunnel Batch上傳)。 |
資源群組配置
通過MaxCompute控制台進行資源群組配置的功能,預計北京時間2024年9月30日下線。為避免下線後資源群組配置失效,建議恢複預設配置(Data Transmission Service資源群組設定為default),並參考使用獨享資料服務資源群組進行資源群組配置。
登入MaxCompute控制台,在左上方選擇地區。
在左側導覽列,選擇。
在项目管理頁面,單擊目標專案操作列的管理。
在基础属性地區可以查看當前專案的Data Transmission Service配置。相關參數解釋如下:
參數
說明
数据传输服务默认Quota
表示未特殊指定讀寫該專案資料需要使用的資源群組Quota時,當前專案預設使用的Data Transmission Service資源群組。
通常為Default,代表公用Data Transmission Service資源群組,暫不支援通過控制台修改。
数据传输服务默认Quota
表示該專案已經授權所有使用者和角色使用配置的獨享資源群組執行資料讀寫任務,因此即使未手動授權,也可在SDK中指定所配置的獨享資源群組Quota進行專案的資料讀寫任務。
一個專案僅支援配置一個獨享資源群組。
数据传输服务叠加Quota
Data Transmission Service獨享資源群組升級特性,支援將獨享資源群組和Default資源群組疊加使用。
在此配置購買的獨享資源群組後,當前專案允許使用的最大並發數可以被提升為公用Data Transmission Service資源群組和獨享資源群組的資源總和。
該升級特性僅部分地區支援,以控制台展示為準。
一個專案僅支援配置一個獨享資源群組,但允許多重專案配置同一個獨享資源群組。疊加使用時,Quota組需要指定Default。
如需要使用開放儲存Storage API介面時,仍需要指定獨享資源群組,QuotaName格式為
ot_42854300324****_169821756****_p#ot_42854300324****_169821756***。
在基础属性地區,單擊编辑,按需修改相關配置。