全部產品
Search
文件中心

DataWorks:營運助手

更新時間:Oct 01, 2025

當運行在獨享調度資源群組上的任務依賴第三方包時,需通過該資源群組的營運助手功能,將所需包安裝至資源群組環境,以保障任務正常執行。DataWorks提供多種內建第三方包的一鍵安裝支援;若內建包無法滿足業務需求,您也可通過Shell命令安裝第三方包。

適用範圍

注意事項

獨享調度資源群組安裝第三方包後,該包會作用在此資源群組上啟動並執行所有任務。若因包版本衝突或相容性問題導致異常,可能波及全部任務,請謹慎選擇和測試所安裝的包。

配額與限制

  • 命令管理:已建立的安裝命令不支援修改,只能重新建立或刪除。

  • 適用任務類型:通過此方式安裝的 Python 第三方包,僅對在該資源群組上運行的Python類節點(例如,PyODPS 2、PyODPS 3)生效。

    如需在MaxCompute Python UDF中使用第三方包,請參考UDF樣本:Python UDF使用第三方包
  • 命令支援:手動輸入模式不支援 pip 命令。

進入營運助手

  1. 登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資源群組,進入資源群組列表頁面。

  2. 獨享資源群組頁簽,找到用途為資料調度的資源群組,單擊其資源群組後的image.png表徵圖,選擇營運助手,進入對應頁面。

安裝第三方包

建立安裝命令

  1. 在營運助手頁面,單擊建立命令,選擇安裝方式。

    方式一:捷徑(推薦)

    適用於安裝DataWorks預置的常用第三方包。

    image

    核心參數說明如下:

    參數

    描述

    命令名稱

    自訂標識名稱。

    命令類型

    選擇快捷安裝環境

    DataWorks會根據所選包自動產生對應的Shell安裝命令。

    內建第三方包

    選擇需安裝的包及其版本。

    DataWorks支援多種Python2Python3Yum類常用包,例如:

    • Aliyun-python-sdk-core:阿里雲提供的Python SDK的核心庫,是與阿里雲的雲端服務進行互動時使用的基礎庫,提供基本的API調用和認證功能。

    • NumPy:提供高效能的多維陣列和數值計算功能,是進行科學計算和資料分析的基礎庫。

    • Pandas:提供高效能、易用的資料結構和資料分析工具,用於處理和分析結構化資料。

    完整列表請以實際介面為準。

    產生的Shell

    DataWorks自動根據選擇產生安裝命令。

    例如選擇aliyun-python-sdk-core,系統將產生:pip install aliyun-python-sdk-core

    逾時時間

    設定命令執行最長等待時間(秒),逾時後任務將被終止。

    方式二:手動輸入

    當內建包不滿足需求時,可通過命令安裝第三方包。

    image

    參數

    描述

    命令名稱

    自訂識別名稱。

    命令類型

    選擇手動輸入

    命令內容

    輸入要執行的命令,例如:yum install -y git

    重要
    • 手動輸入方式無法使用PIP命令安裝第三方包。

    • 手動命令執行成功率不保證,建議提前驗證指令碼。

    • 三方包安裝成功後,在DataStudio節點中引用時需使用絕對路徑。

    安裝目錄

    指定命令可訪問的目錄路徑,多個路徑用英文分號(;)分隔。DataWorks會將目錄添加至白名單,保證目錄可訪問。

    • 支援安裝到/home/或非/home/目錄。若存放在/home/下,必須位於/home/admin/usertools/tools/路徑。

    • 未指定時,預設路徑為/home/admin/usertools/tools/

    逾時時間

    命令最大執行時間(秒),逾時將強制中斷。

  2. 單擊確認完成命令配置。

執行安裝命令

在營運助手頁面,單擊已建立命令的操作列中的運行命令,觸發安裝流程。系統將自動產生一條運行命令記錄。

查看運行結果

在對應命令記錄查看命令運行狀態命令內容等基本資料。單擊對應記錄的操作列中的查看結果,根據日誌分析運行失敗的原因並處理。安裝成功後,該包即可在當前資源群組的調度任務中使用。

image

查看環境配置

在營運助手列表頁,單擊左上方的查看環境配置詳情,查看當前資源群組的整體環境配置情況。例如,已安裝的第三方包、第三方包的版本及狀態。

在任務中調用第三方包

新版資料開發使用鏡像

  1. 進入資料開發:進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到目標工作空間,單擊操作列的快速進入 > Data Studio,進入Data Studio。

  2. 配置資源群組:在資料開發功能中找到待測試三方包的任務節點,單擊右側調度配置,配置資源屬性。

    • 資源群組:選擇獨享調度資源群組

      如果此處未顯示目標資源群組,請檢查是否將該資源群組綁定至當前工作空間。您可以前往資源群組列表頁,找到目標資源群組,然後單擊操作列的綁定工作空間,完成綁定。

  3. 調試節點:在節點右側調試配置中,配置計算資源資源群組指令碼參數,然後在節點頂部工具列單擊運行

  4. 發布節點:在節點頂部工具列單擊發布,將節點發布至生產環境。

舊版資料開發使用鏡像

  1. 進入資料開發:登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與營運 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 配置資源群組:在資料開發功能中找到待測試三方包的任務節點,單擊右側調度配置,配置資源屬性。

    • 調度資源群組:選擇獨享調度資源群組

      如果此處未顯示目標資源群組,請檢查是否將該資源群組綁定至當前工作空間。您可以前往資源群組列表頁,找到目標資源群組,然後單擊操作列的綁定工作空間,完成綁定。

  3. 調試節點:在節點頂部工具列單擊帶參運行image),配置資源群組名稱,然後單擊運行

  4. 發布節點:在節點頂部工具列單擊儲存提交,將節點發布至生產環境。

相關文檔

第三方包安裝完成後,使用該獨享調度資源群組啟動並執行節點任務即可引用該包。參考以下文檔進一步使用: