Data Management：Airflow環境搭建與管理

前提條件

已按照準備工作中的步驟準備好執行個體資源。

費用說明

Airflow執行個體的費用與該執行個體的工作流程規格（使用的CU數）相關，單價請以配置資源時的頁面提示為準。

步驟一：建立Airflow執行個體

1. 登入Data Management 5.0。

2. 進入工作空間頁面。

   DMS提供了兩種進入工作空間的路徑，您可根據需求選擇。

   路徑一

   單擊控制台左上方的表徵圖，選擇全部功能 > Data+AI > 工作空間。

   說明

   若您使用的是非極簡模式的控制台，請在頂部功能表列中，選擇Data+AI > 工作空間。

   

   路徑二

   重要

   此方式正在灰階內測中，僅部分使用者支援。

   單擊頁面左側的數智工廠表徵圖，再單擊工作空間。

   說明

   若您使用的是非極簡模式的控制台，請在頂部功能表列中，選擇數智工廠 > 工作空間。

3. 單擊目標工作空間名稱或建立工作空間，進入工作空間。

4. 在工作空間左側選擇 > Airflow執行個體，再單擊建立執行個體。

5. 配置執行個體資訊。

   部分重要參數說明如下：

   配置項	說明
   工作流程規格	請根據工作流程規模和複雜程度合理選擇規格。更多資訊，請參見Airflow規格資訊。
   Worker節點擴充	Airflow會根據任務負載情況自動調整使用節點數。Worker節點最小為1，最大為10。
   VPC ID	無需調整，預設與工作空間的VPC一致。
   交換器	選擇目標交換器。
   安全性群組	選擇控制工作流程的安全性群組。
   OSS Bucket	選擇與工作空間所在地區相同的OSS Bucket。
   OSS路徑	填入在準備工作中建立的儲存資料的路徑。

6. 單擊確定。

   當執行個體狀態為運行中，表示資源已部署完成。

步驟二：新增關聯帳號

1. 在工作空間右上方單擊帳號頭像，單擊表徵圖，建立關聯帳號。

   

2. 在建立服務商帳號對話方塊中，選擇帳號類型。

   DMS目前支援三種帳號類型：GitHub、雲效代碼管理Codeup、私人化部署Gitlab。

   

3. 選擇建立方式並填入使用者名稱、密碼或存取權杖。

   建立方式（即匯入帳號到工作空間的方式）支援使用者名稱密碼或使用者令牌兩種。

   。

4. 單擊確定。

步驟三：建立代碼倉庫

1. 在工作空間頁面左側導覽列中，單擊表徵圖，進入資源管理員頁面。

2. 在CODE（代碼倉庫）地區單擊表徵圖，並選擇添加已有 git 代碼倉庫以建立代碼倉庫。

   

3. 填寫專案名稱、選擇對應的Git服務商和Git倉庫地址後，單擊確定。

   如果您使用阿里雲服務，建議Git服務商選擇CodeUp，後續DMS會預設選擇CodeUp類型的關聯帳號。

   

   當倉庫列表出現建立的倉庫名稱，表示建立成功。

步驟四：進行代碼開發

1. 單擊目標代碼倉庫名稱右側的master，您可選擇切換分支、建立分支、編輯或儲存代碼。

   說明

   儲存操作相當於執行gitpush命令。

2. 確認環境。

   將滑鼠懸浮在倉庫名稱上方，單擊表徵圖，然後確認環境及參數配置。

3. 將滑鼠懸浮在倉庫名稱上方，單擊按鈕。

4. 在彈出的對話方塊，單擊確定以部署代碼。

   

步驟五：在Airflow空間查看發行任務

1. 在工作空間頁面的左側導覽列單擊表徵圖。

2. 單擊目標倉庫下的AirFlow執行個體，查看發行的任務。

   

   您可單擊DAG名稱，查看執行結果。

   

附錄：Airflow規格資訊