Airflow是一款面向巨量資料開發情境的開源工作流程編排和調度工具,支援作業開發、DAG(有向非循環圖)調度和監控工作流程批處理。Airflow允許通過Python代碼定義工作流程。藉助其Python外掛程式,使用者可以靈活地將Airflow與大多數外部技術或系統整合。
使用情境
編排DMS中的資料開發工作單位,如執行SQL指令碼、資料清洗等。
調度AnalyticDB for MySQL版Spark執行批處理任務。
調度DTS的Data Integration任務。
支援的地區和可用性區域
地區 | 可用性區域 | ||
名稱 | ID | 名稱 | ID |
華東1(杭州) | cn-hangzhou | 可用性區域B | cn-hangzhou-b |
可用性區域E | cn-hangzhou-e | ||
可用性區域F | cn-hangzhou-f | ||
可用性區域G | cn-hangzhou-g | ||
可用性區域H(推薦) | cn-hangzhou-h | ||
可用性區域I(推薦) | cn-hangzhou-i | ||
可用性區域J(推薦) | cn-hangzhou-j | ||
可用性區域K | cn-hangzhou-k | ||
華東2(上海) | cn-shanghai | 可用性區域A | cn-shanghai-a |
可用性區域B | cn-shanghai-b | ||
可用性區域C | cn-shanghai-c | ||
可用性區域D | cn-shanghai-d | ||
可用性區域E | cn-shanghai-e | ||
可用性區域F | cn-shanghai-f | ||
可用性區域G | cn-shanghai-g | ||
可用性區域K | cn-shanghai-k | ||
可用性區域L(推薦) | cn-shanghai-l | ||
可用性區域M(推薦) | cn-shanghai-m | ||
可用性區域N(推薦) | cn-shanghai-n | ||
華北2(北京) | cn-beijing | 可用性區域C | cn-beijing-c |
可用性區域D | cn-beijing-d | ||
可用性區域E | cn-beijing-e | ||
可用性區域F | cn-beijing-f | ||
可用性區域G | cn-beijing-g | ||
可用性區域H(推薦) | cn-beijing-h | ||
可用性區域I(推薦) | cn-beijing-i | ||
可用性區域J(推薦) | cn-beijing-j | ||
可用性區域K | cn-beijing-k | ||
可用性區域L | cn-beijing-l | ||
華南1(深圳) | cn-shenzhen | 可用性區域A | cn-shenzhen-a |
可用性區域B | cn-shenzhen-b | ||
可用性區域C | cn-shenzhen-c | ||
可用性區域D(推薦) | cn-shenzhen-d | ||
可用性區域E(推薦) | cn-shenzhen-e | ||
可用性區域F(推薦) | cn-shenzhen-f | ||
新加坡 | ap-southeast-1 | 可用性區域A | ap-southeast-1a |
可用性區域B | ap-southeast-1b | ||
可用性區域C | ap-southeast-1c | ||
印尼(雅加達) | ap-southeast-5 | 可用性區域A | ap-southeast-5a |
可用性區域B | ap-southeast-5b | ||
可用性區域C | ap-southeast-5c | ||
費用說明
Airflow執行個體的費用與該執行個體的工作流程規格(使用的CU數)相關,單價請以配置資源時的頁面提示為準。
方案概覽
準備OSS資源,並為Airflow開通公網存取權限。
建立git帳號,即建立一個專用帳號。該帳號用於在代碼倉庫中進行操作,且這些操作不會被同一工作空間的使用者(包括阿里雲主帳號或RAM子帳號)查看。
在Git或其他版本控制系統中建立代碼倉庫,用於儲存和管理Airflow的DAG檔案。
在代碼倉庫中編輯對應代碼、進行代碼發布等操作。
在Airflow空間查看DAG調度以及監控工作流程批處理的情況。