本文將以建立商務程序為例,為您介紹如何在商務程序中建立節點並配置依賴關係,以方便地設計和展現資料分析的步驟和順序,並簡要說明如何利用資料開發功能對工作空間的資料做進一步的分析和計算。

DataWorks的資料開發功能支援在商務程序中通過可視化拖拽來完成節點間的依賴設定。以操作商務程序的方式實現對資料的處理和相互依賴。目前支援ODPS_SQL、資料同步、OPEN_MR、SHELL、機器學習服務和虛擬節點等多種任務類型,每種任務類型的具體使用方法請參見節點類型介紹

前提條件

在開始本操作前請確保您已根據建表並上傳資料的操作,在工作空間中準備好業務資料表bank_data和其中的資料,以及結果表result_table。

操作步驟

建立商務程序
  1. 建立項目後,單擊對應項目後的進入工作區
  2. 進入DataStudio頁面,選擇建立 > 商務程序

  3. 輸入商務程序名稱及描述。

在商務程序畫布中建立節點和設定節點間的依賴關係

本節將在商務程序中建立一個虛擬節點(start)和odps_sql節點(insert_data),並配置為insert_data依賴於start。
说明 使用虛擬節點時,需要注意以下幾點:
  • 虛擬節點屬於控制類型節點,在商務程序運行過程中不對資料產生任何影響,僅用於實現對下遊節點的營運控制。
  • 虛節點在被其他節點依賴的情況下,如果被營運人員手動設定為運行失敗,則下遊未啟動並執行節點將因此無法被觸發運行,在營運過程中可以防止上遊錯誤資料進一步蔓延。詳情請參見節點類型介紹中的虛節點類型。
  • 商務程序中的虛節點的上遊任務,一般會設定成項目根節點,項目根節點的格式為:項目名_root 。
綜上所述,一般建議設計商務程序時,預設建立一個虛擬節點作為商務程序的根節點來控制整個工作流程。
  1. 雙擊虛擬節點,輸入節點名start。

  2. 雙擊ODPS_SQL,輸入節點名insert_data 。
  3. 單擊start節點並拖動連線到insert_data節點,使insert_data節點依賴於start節點。

給虛節點設定上遊依賴

在商務程序中,虛擬節點一般作為整個商務程序的控制器,是整個商務程序中所有節點的上遊,但是虛節點的上遊該如何配置呢?

商務程序中的虛擬節點我們會讓其依賴整個項目的根節點,開啟虛擬節點,在右側的調度配置中,點擊 使用項目根節點 ,配置完成後,點擊儲存即可。

在ODPS_SQL節點中編輯代碼

本節將在ODPS_SQL節點(insert_data)中用SQL代碼查詢不同學曆的單身人士貸款買房的數量,並將結果儲存下來以便後續節點繼續分析或展現。

SQL語句如下所示,具體文法說明請參見MaxCompute SQL

INSERT OVERWRITE TABLE result_table  --資料插入到result_table中
SELECT education
    , COUNT(marital) AS num
FROM bank_data
WHERE housing = 'yes'
    AND marital = 'single'
GROUP BY education
運行並調試ODPS_SQL節點
  1. 在insert_data節點中編輯好SQL語句後,單擊儲存,防止代碼丟失。
  2. 單擊運行,查看作業記錄和結果。

儲存並提交商務程序

運行並調試好ODPS_SQL節點insert_data後,返回工作流程頁面,儲存並提交商務程序。

後續步驟

現在,您已經學習了如何建立工作流程,並對其進行儲存和提交,您可以繼續學習下一個教程。在該教程中您將學習如何通過建立同步任務來把資料迴流到不同類型的資料來源中。詳情請參見建立同步任務匯出結果