全部產品
Search
文件中心

Platform For AI:使用DataWorks離線調度Designer工作流程

更新時間:Jan 14, 2025

PAI Designer支援與DataWorks互連,您可以通過DataWorks實現離線工作流程的離線調度,周期性地更新模型,協助您構建模型訓練的Pipeline。本文為您介紹如何使用DataWorks實現Designer工作流程的離線調度,以及在調度任務中自動同步PAI模型至OSS。

前提條件

  • 工作流程中所有節點已運行成功。

  • 已開通DataWorks服務並建立商務程序,具體操作,詳情請參見建立商務程序

    商務程序需要與Designer工作流程屬於相同的工作空間。否則,在建立離線調度任務時,路徑將無法選擇已建立的商務程序。

  • 如果您的DataWorks工作空間是標準模式,由於開發和生產環境的MaxCompute資料相互隔離,在周期性調度任務前,需要先將離線訓練得到的模型同步至生產環境,詳情請參見離線預測工作流程部署周期性調度

操作步驟

說明

PAI-Designer工作流程與DataWorks資料開發中的Designer節點個數的比例為1∶N,您可以基於同一個PAI-Designer工作流程,在DataWorks資料開發中建立多個Designer類型的節點。

  1. 前往可視化建模,選擇工作空間後進入Designer頁面,雙擊並進入目標工作流程。

  2. (可選)如果在周期性調度時需要同步Designer模型至OSS,可添加模型匯出組件。

    1. 工作流程屬性頁簽,配置工作流程資料存放區參數為儲存模型的OSS路徑。

    2. 如果您需要匯出PMML格式的模型檔案,單擊目標模型組件(例如羅吉斯迴歸二分類),在右側的欄位設定頁簽選中是否產生PMML

      說明

      僅部分模型件支援匯出PMML格式的模型檔案,不支援的組件或不需要匯出PMM格式時,可以跳過該步驟。

    3. 在模型組件的下遊接入通用模型匯出組件,配置詳情請參見通用模型匯出

  3. 使用DataWorks實現Designer工作流程的離線調度。

    1. 單擊畫布左上方的周期性調度,單擊建立調度節點,跳轉到DataWorks進行離線調度,在建立節點對話方塊配置節點名稱,單擊確認

    2. 在節點的編輯頁面,從選擇PAI Designer實驗下拉式清單中選擇已建立的PAI Designer工作流程。

      如果您需要修改PAI Designer工作流程,請單擊去PAI Designer編輯,進入工作流程編輯頁面進行編輯。編輯頁面

    3. 單擊節點編輯地區右側的調度配置,配置節點的調度屬性,詳情請參見配置節點調度屬性

      調度配置面板中,包含基礎屬性參數時間屬性資源屬性調度依賴等配置項。您可以在時間屬性地區配置調度周期,後續DataWorks會根據配置的調度周期自動調度運行節點任務。

      說明

      DataWorks調度時可能會報“Start Container timeout”相關的錯誤,這通常是偶發的逾時問題,建議您在配置時間屬性時開啟失敗自動重跑。開啟後,當任務運行失敗(不包括使用者主動終止任務運行)時,調度系統會根據重跑次數和重跑間隔自動觸發重跑。

      調度配置

    4. 依次單擊工具列中的儲存提交表徵圖,根據介面提示,儲存並提交節點。

      如果您使用的是標準模式的工作空間,在提交成功後,請單擊頁面上方的任務發布,具體操作請參見發布任務

    5. 單擊頁面上方的營運中心,查看機器學習任務的運行情況和動作記錄。

      您也可以直接進行補資料、工作流程試跑等操作,詳情請參見查看並管理周期任務

相關文檔