若您要使用DataWorks進行MaxCompute任務的開發、管理,需先將您的MaxCompute專案綁定為DataWorks的MaxCompute計算資源。綁定完成後,可在DataWorks的各功能模組使用該計算資源串連MaxCompute專案,進行相應的資料同步、資料開發、資料分析等操作。
使用限制
-
地區限制:華東1(杭州)、華東2(上海)、華北2(北京)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印尼(雅加達)、德國(法蘭克福)、英國(倫敦)、美國(矽谷)、美國(維吉尼亞)。
-
當MaxCompute專案和DataWorks工作空間屬於同地區、同阿里雲帳號時,MaxCompute才可建立為計算資源。
-
許可權限制:
產品
操作人
具備許可權說明
DataWorks側
阿里雲主帳號
無需額外授權。
阿里雲RAM帳號/RAM角色
僅擁有營運和空間管理員角色的空間成員,或擁有
AliyunDataWorksFullAccess許可權的空間成員可建立計算資源,您為空白間成員授權即可。MaxCompute側
阿里雲RAM帳號/RAM角色
綁定計算資源時:需擁有MaxCompute的odps:ListProjects許可權,以及目標MaxCompute專案的Super_Administrator許可權。
當作為預設訪問身份時:需擁有MaxCompute專案的admin或super_administrator許可權,當計算資源綁定完成後,該帳號或角色將會被MaxCompute生產專案添加為Role_Project_Scheduler角色。
當前工作空間下的生產資料,均歸屬於建立計算資源時所指定的生產環境預設訪問身份。其他帳號如需操作及訪問生產表,需在資訊安全中心概述申請相關許可權。
-
查看已綁定資源所在地區:可在 DataWorks 工作空間詳情頁面,或管理中心的計算資源列表中,查看已綁定計算資源的詳細資料,包括 MaxCompute 專案所在地區,以排查跨地區綁定失敗等問題。
前提條件
-
已開通與DataWorks地區一致的MaxCompute產品,並建立MaxCompute專案。
-
DataWorks已建立工作空間,操作者使用的RAM帳號已加入工作空間並設定為工作空間管理員角色。
說明DataWorks的工作空間分為簡單模式工作空間和標準模式工作空間,在建立空間時需注意簡單模式和標準模式的區別。
-
已為工作空間綁定資源群組,且確保網路連通。
-
使用Serverless資源群組時,只需確保MaxCompute計算資源與Serverless資源群組連通性正常即可。
-
使用舊版獨享型資源群組時,需確保MaxCompute計算資源與對應情境下的獨享調度資源群組連通性正常。
-
新版資料開發:綁定MaxCompute計算資源
為使用新版數據開發(Data Studio)的工作空間綁定MaxCompute計算資源。
進入計算資源清單頁
-
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入管理中心。
-
在左側導覽列單擊計算資源,進入計算資源清單頁。
綁定MaxCompute計算資源
在計算資源清單頁,配置綁定MaxCompute計算資源。
-
選擇綁定計算資源類型。
-
單擊綁定計算資源,進入綁定計算資源頁面。
-
在綁定計算資源頁面選擇計算資源類型為MaxCompute,進入綁定MaxCompute計算資源配置頁面。
-
-
配置MaxCompute計算資源。
在綁定MaxCompute計算資源配置頁面,根據下表內容進行相應配置。
參數
說明
MaxCompute項目
選擇需要綁定的MaxCompute專案,您可以建立MaxCompute內部專案或建立MaxCompute外部項目,建立完成後,選擇建立的新專案即可。
說明-
如果建立工作空間為標準工作空間,則此處需要分別為生產和開發環境選擇MaxCompute專案,且需綁定不同的MaxCompute專案。
-
MaxCompute的計費項目與計費方式概述。
-
若無法選擇目標MaxCompute專案,則請授予當前登入帳號該專案的Super_Administrator許可權。
默認訪問身份
定義在當前工作空間下,用什麼身份訪問該MaxCompute專案。
-
開發環境:當前僅支援使用执行者身份訪問。
-
生產環境:支援使用阿里雲主賬號、阿里云RAM子账号和阿里雲RAM角色訪問。
說明-
僅阿里雲主帳號及擁有AdministratorAccess角色許可權的使用者或角色可選擇所有身份訪問。
-
當前工作空間下的生產資料,均歸屬於建立計算資源時所指定的生產環境預設訪問身份。其他帳號如需操作及訪問生產表,需在資訊安全中心申請相關許可權。相關介紹及操作,請參見MaxCompute資料存取權限控制、核准中心概述。
Endpoint
指定DataWorks通過該計算資源訪問MaxCompute專案的Endpoint地址。包括訪問MaxCompute服務的Endpoint地址,以及上傳、下載本地或雲端運算資源資料的Tunnel服務地址。支援以下兩種配置:
-
自動適配:DataWorks根據實際情況自動適配,建議選擇該項。
-
自定義配置:自訂情況下,您需手動設定MaxCompute Endpoint及Tunnel Endpoint,不同地區,Endpoint不同。
計算資源執行個體名稱
用於標識該計算資源,在任務運行時,通過計算資源執行個體名稱來選擇任務啟動並執行計算資源。
-
-
測試連通性。
在串連配置地區,請選擇DataWorks用於運行MaxCompute任務的資源群組,並單擊測試連通性以確保資源群組可以正常訪問您的MaxCompute專案。詳情請參見網路連通方案概述。
說明如無可用的資源群組,您可以新增和並綁定Serverless資源群組到工作空間之後,再到工作空間的計算資源中測試與計算資源的連通性。
-
單擊確認,完成MaxCompute計算資源配置。
說明-
綁定完成後,系統將自動在當前工作空間的數據源中同步建立一個同名的MaxCompute資料來源。
-
計算資源綁定成功後平台會進行訪問身份授權,即將訪問身份帳號添加至MaxCompute專案中,並為該身份映射MaxCompute對應的許可權。在授權完成前,連通性測試可能會產生連通無許可權報錯,該情境下,儲存計算資源後,您需稍作等待。
-
修改已綁定的 MaxCompute 計算資源
如需修改計算資源、更換 MaxCompute 專案或變更綁定,可在管理中心的計算資源列表頁,找到目標 MaxCompute 計算資源,單擊編輯按鈕進入修改頁面。您可在該頁面修改已綁定的 MaxCompute 專案、預設訪問身份、Endpoint 等配置。
舊版資料開發:綁定MaxCompute計算資源
為未使用新版數據開發(Data Studio)的工作空間綁定MaxCompute計算資源。
進入計算資源清單頁
-
進入資料開發頁面。
登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的,在下拉框中選擇對應工作空間後單擊進入資料開發。
-
在左側導覽列單擊
表徵圖,進入計算資源列表頁。
綁定MaxCompute計算資源
在計算資源清單頁,配置綁定MaxCompute計算資源。
-
選擇綁定計算資源類型。
-
單擊新建計算資源,進入新建計算資源頁面。
-
在新建計算資源頁面選擇計算資源類型為MaxCompute,進入新建計算資源配置頁面。
-
-
配置MaxCompute計算資源。
在新建計算資源配置頁面,根據下表內容進行相應配置。
參數
說明
認證方式
建立的計算資源僅支援通過阿里雲帳號及阿里雲RAM角色進行認證。
所屬雲賬號
只有添加當前阿里雲主賬號下的MaxCompute專案才可作為當前工作空間的計算資源。
MaxCompute專案名稱
選擇需要綁定的MaxCompute專案,若無目標專案,則需建立MaxCompute專案。
說明-
如果建立工作空間為標準工作空間,則此處需要分別為生產和開發環境選擇MaxCompute專案,且需綁定不同的MaxCompute專案。
-
MaxCompute的計費項目與計費方式概述。
-
若無法選擇目標MaxCompute專案,則請授予當前登入帳號該專案的Super_Administrator許可權。
地區
選擇MaxCompute專案所在的地區,若選擇的MaxCompute專案與當前工作空間不在同一地區,則無法將MaxCompute專案建立為計算資源。
默認訪問身份
定義在當前工作空間下,用什麼身份訪問該計算資源。
-
開發環境:當前僅支援使用執行者身份訪問。
-
生產環境:支援使用阿里雲主帳號、阿里雲RAM使用者(即子帳號)、阿里雲RAM角色訪問。
說明-
僅阿里雲主帳號及擁有AdministratorAccess角色許可權的使用者或角色可選擇所有身份訪問。
-
當前工作空間下的生產資料,均歸屬於建立計算資源時所指定的生產環境預設訪問身份。其他帳號如需操作及訪問生產表,需在資訊安全中心申請相關許可權。相關介紹及操作,請參見MaxCompute資料存取權限控制、核准中心概述。
-
Endpoint
指定DataWorks通過該計算資源訪問MaxCompute專案的Endpoint地址。包括訪問MaxCompute服務的Endpoint地址,以及上傳、下載本地或雲端運算資源資料的Tunnel服務地址。支援以下兩種配置:
-
自動適配:DataWorks根據實際情況自動適配,建議選擇該項。
-
自定義配置:自訂情況下,您需手動設定MaxCompute Endpoint及Tunnel Endpoint,不同地區,Endpoint不同。
-
-
測試連通性。
在串連配置地區,請選擇DataWorks用於運行MaxCompute任務的資源群組,並單擊測試連通性以確保資源群組可以正常訪問您的MaxCompute專案。詳情請參見網路連通方案概述。
說明如無可用的資源群組,您可以新增和並綁定Serverless資源群組到工作空間之後,再到工作空間的計算資源中測試與計算資源的連通性。
-
單擊新建計算資源並綁定數據開發,完成MaxCompute計算資源配置。
說明-
綁定完成後,系統將自動在當前工作空間的數據源中同步建立一個同名的MaxCompute資料來源。
-
計算資源綁定成功後平台會進行訪問身份授權,即將訪問身份帳號添加至MaxCompute專案中,並為該身份映射MaxCompute對應的許可權。在授權完成前,連通性測試可能會產生連通無許可權報錯,該情境下,儲存計算資源後,您需稍作等待。
-
修改已綁定的 MaxCompute 計算資源
如需修改計算資源、更換 MaxCompute 專案或變更綁定,可在資料開發的計算資源清單頁,找到目標 MaxCompute 計算資源,單擊編輯按鈕進入修改頁面。您可在該頁面修改已綁定的 MaxCompute 專案、預設訪問身份、Endpoint 等配置。
後續操作
完成MaxCompute計算資源綁定後,將為工作空間自動建立MaxCompute資料來源,您可在Data Integration中使用該資料來源,以及進行資料庫節點(新版資料開發)或資料庫節點(舊版資料開發)中使用。
常見問題
-
問題詳情:MaxCompute計算資源在進行調度時出現
connect timed out, the possible reason is that the endpoint `http://service.odps.aliyun.com/api` is wrong, please check your endpoint報錯。解決方式:檢查MaxCompute計算資源的Endpoint配置是否正確,填寫與資源地區相同的地區的VPC Endpoint。
-
問題詳情:進行計算資源連通性測試時,出現
You have NO privilege 'odps:Read' on {acs:odps:*:projects/xxx}報錯。解決方式:檢查您的MaxCompute專案狀態是否正常,如處於凍結停服狀態,您可在MaxCompute控制台對您所需綁定的MaxCompute專案進行恢復。
-
問題詳情:DataWorks 是否支援跨帳號綁定 MaxCompute 計算資源,或通過 SQL 查詢跨帳號資料?
解決方式:不支援。DataWorks 綁定 MaxCompute 計算資源時,僅支援綁定與當前 DataWorks 工作空間屬於同一阿里雲主帳號下的 MaxCompute 專案;在資料開發中執行 SQL 查詢時,所使用的計算引擎也必須是同帳號下的專案,不支援直接跨帳號通過 SQL 查詢 MaxCompute 資料。若需訪問跨帳號資料,請通過Data Integration等方式實現。
-
問題詳情:已綁定 MaxCompute 計算資源,但發布任務或建立資源時仍提示“未綁定計算資源”、“找不到 ODPS 資訊”,或選項呈灰色,如何處理?
解決方式:該問題通常由以下原因導致,請按順序排查:
-
系統延遲:綁定完成後平台需進行訪問身份授權,可能存在短暫延遲,建議等待幾分鐘後重新整理頁面重試。
-
許可權不足:確認當前登入帳號對目標 MaxCompute 專案擁有 Super_Administrator 許可權,許可權缺失可能導致綁定狀態異常或顯示為已解除綁定。
-
綁定配置錯誤:檢查綁定的 MaxCompute 專案名稱及地區是否正確,確保與 DataWorks 工作空間同地區、同帳號。
-
未手動綁定:僅在 MaxCompute 側開通引擎不等於完成綁定,需在 DataWorks 管理中心的計算資源中手動執行綁定操作。
-
連通性問題:測試連通性開發環境 MaxCompute 資料來源是否正常,若不通請檢查網路及 Endpoint 配置。
-
-
問題詳情:綁定 MaxCompute 計算資源時提示“專案已存在”,如何處理?
解決方式:一個 MaxCompute 專案作為計算資源只能綁定至一個 DataWorks 工作空間。該報錯表示 DataWorks 中已存在此 MaxCompute 專案與 Endpoint 組合的綁定記錄,處理方式:
-
檢查各個工作空間的計算資源列表,確認是否已存在該計算資源,若已存在則無需重複綁定,直接在資料開發工作單位中選擇該引擎即可。
-
若需更新配置,請先刪除舊的綁定記錄(或清除瀏覽器緩衝後重試),再重新執行綁定操作。
-
-
問題詳情:工作空間解除綁定 MaxCompute 計算資源後重新綁定,解除綁定前建立的舊Data Integration(DI)任務開啟後進入唯讀模式或報錯,如何處理?
解決方式:解除綁定 MaxCompute 計算資源後重新綁定(即使重新綁定的是同一個 MaxCompute 專案),會導致解除綁定前已建立的舊 DI 任務中繼資料損壞。典型表現為:
-
開啟舊任務時提示來源資料源連通性異常,任務頁面進入唯讀模式,無法編輯。
-
瀏覽器控制台出現 null pointer 相關報錯。錯誤訊息隨產品版本不同而變化,如
Cannot read properties of undefined (reading 'type')。 -
欄位對應地區持續顯示“欄位資訊擷取中...”,無法載入。
通過複製舊任務無法恢複編輯能力,複製產生的新任務同樣進入唯讀模式。請建立一個配置相同的 DI 任務替代舊任務,並在營運中心確認舊任務已下線,避免新舊任務重複調度。
-