Data Management：Airflow環境搭建與管理

前提條件

已按照準備工作中的步驟準備好執行個體資源。

費用說明

Airflow執行個體的費用與該執行個體的工作流程規格（使用的CU數）相關，單價請以配置資源時的頁面提示為準。

步驟一：建立Airflow執行個體

1. 登入Data Management 5.0。

2. 進入工作空間頁面。

   DMS提供了兩種進入工作空間的路徑，您可根據需求選擇。

   路徑一

   單擊控制台左上方的表徵圖，選擇全部功能 > Data+AI > 工作空間。

   說明

   若您使用的是非極簡模式的控制台，請在頂部功能表列中，選擇Data+AI > 工作空間。

   路徑二

   重要

   此方式正在灰階內測中，僅部分使用者支援。

   單擊頁面左側的數智工廠表徵圖，再單擊工作空間。

   說明

   若您使用的是非極簡模式的控制台，請在頂部功能表列中，選擇數智工廠 > 工作空間。

3. 單擊目標工作空間名稱或建立工作空間，進入工作空間。

4. 在工作空間左側選擇 > Airflow執行個體，再單擊建立執行個體。

5. 配置執行個體資訊。

   部分重要參數說明如下：

   配置項	說明
   工作流程規格	請根據工作流程規模和複雜程度合理選擇規格。更多資訊，請參見Airflow規格資訊。
   Worker節點擴充	Airflow會根據任務負載情況自動調整使用節點數。Worker節點最小為1，最大為10。
   VPC ID	無需調整，預設與工作空間的VPC一致。
   交換器	選擇目標交換器。
   安全性群組	選擇控制工作流程的安全性群組。
   OSS Bucket	選擇與工作空間所在地區相同的OSS Bucket。
   OSS路徑	填入在準備工作中建立的儲存資料的路徑。

6. 單擊確定。

   當執行個體狀態為運行中，表示資源已部署完成。

步驟二：新增關聯帳號

1. 在工作空間右上方單擊帳號頭像，單擊表徵圖，建立關聯帳號。

   該表徵圖為下拉麵板中關聯帳號右側的+按鈕。

2. 在建立服務商帳號對話方塊中，選擇帳號類型。

   DMS目前支援三種帳號類型：GitHub、雲效代碼管理Codeup、私人化部署Gitlab。

3. 選擇建立方式並填入使用者名稱、密碼或存取權杖。

   建立方式（即匯入帳號到工作空間的方式）支援使用者名稱密碼或使用者令牌兩種。

   。

4. 單擊確定。

步驟三：建立代碼倉庫

1. 在工作空間頁面左側導覽列中，單擊表徵圖，進入資源管理員頁面。

2. 在CODE（代碼倉庫）地區單擊表徵圖，並選擇添加已有 git 代碼倉庫以建立代碼倉庫。

3. 填寫專案名稱、選擇對應的Git服務商和Git倉庫地址後，單擊確定。

   如果您使用阿里雲服務，建議Git服務商選擇CodeUp，後續DMS會預設選擇CodeUp類型的關聯帳號。

   當倉庫列表出現建立的倉庫名稱，表示建立成功。

步驟四：進行代碼開發

1. 單擊目標代碼倉庫名稱右側的master，您可選擇切換分支、建立分支、編輯或儲存代碼。

   說明

   儲存操作相當於執行gitpush命令。

2. 確認環境。

   將滑鼠懸浮在倉庫名稱上方，單擊表徵圖，然後確認環境及參數配置。

3. 將滑鼠懸浮在倉庫名稱上方，單擊按鈕。

4. 在彈出的對話方塊，單擊確定以部署代碼。

   該對話方塊提示部署最長需要 10 分鐘，且當前分支下未提交的內容將自動認可推送。

步驟五：在Airflow空間查看發行任務

1. 在工作空間頁面的左側導覽列單擊表徵圖。

2. 單擊目標倉庫下的AirFlow執行個體，查看發行的任務。

   您可單擊DAG名稱，查看執行結果。

   Airflow DAGs 頁面顯示發行的 DAG（如 hello_world_dag2），列表包含 Owner、運行次數（成功與失敗）、調度頻率（如 @daily）、上次已耗用時間及下次已耗用時間等資訊。

附錄：Airflow規格資訊