Data Agent內建了一組Airflow Skills,可以輔助您完成Airflow DAG編寫、執行個體管理和運行態營運。您只需通過自然語言對話描述要完成的DMS Airflow任務,Data Agent會自動選擇合適的Skill處理。本文介紹各Skill的能力、使用樣本和最佳實務。
Skills能力說明
Data Agent支援以下三個Airflow Skills,這些Skill會自動載入到Data Agent中。
Skill | 適用情境 | 典型交付結果 |
| 編寫、修改、檢查Airflow 3 DAG。支援DMS SQL、無鎖SQL、Notebook、AnalyticDB Spark、Lindorm Spark、DTS入湖、SSH等任務類型,可設計調度、依賴、參數、警示和回合組態。 | DAG檔案、任務說明、調度和依賴說明、運行前配置清單、檢查結果。 |
| 管理DMS Airflow執行個體和工作空間。支援建立、查詢、更新執行個體,配置規格、日誌目錄、DAG/外掛程式目錄、OSS掛載,上傳並發布工作空間代碼。 | 執行個體資訊、部署/發布狀態、Airflow ID、失敗摘要、下一步建議。 |
| 管理Airflow回合組態和運行狀態。支援對Connections、Variables、Pools、DAG狀態、DAG Run、Task Instance及DAG失敗進行排查。 | 配置操作結果、DAG Run狀態、失敗任務、錯誤摘要、根因判斷和修複建議。 |
Skills使用樣本
在Data Agent中,您只需用自然語言描述任務,Data Agent會自動匹配合適的Skill執行。在描述任務時建議按層級指定內容:工作空間 → Airflow執行個體 → 具體操作。
airflow-operation
自然語言任務描述 | Data Agent交付結果 |
"在工作空間 | 執行個體建立結果、Airflow ID、部署狀態。 |
"查詢工作空間 | 執行個體列表、執行個體狀態、可繼續操作的執行個體ID。 |
"把本地 | 上傳檔案清單、發布狀態、是否需要等待DAG解析。 |
airflow-rest-api
自然語言任務描述 | Data Agent交付結果 |
"在工作空間 | Connection建立結果,敏感欄位不顯示。 |
"觸發工作空間 | DAG Run ID、觸發狀態、後續查看建議。 |
"分析工作空間 | 失敗run、失敗任務、嚴重錯誤、根因判斷、修複建議。 |
使用Data Agent輔助Airflow任務開發
推薦分兩步完成Airflow任務開發:
編寫Airflow代碼:提供DAG ID、調度周期、任務類型、任務內容、依賴關係、回合組態和警示要求。Data Agent交付DAG檔案、任務說明、運行前配置清單和檢查結果。
上傳並發布到工作空間:提供工作空間、Airflow執行個體、本地DAG檔案或目錄、目標發布目錄,以及是否需要驗證運行。Data Agent交付上傳結果、發布狀態和驗證運行結果。
使用樣本
自然語言任務描述 | Data Agent交付結果 |
"幫我開發一個Airflow DAG,DAG ID為 | DAG檔案、任務依賴說明、運行前配置清單。 |
"把剛才產生的DAG發布到工作空間 | 上傳結果、發布狀態、是否需要等待解析。 |
"幫我開發 | DAG檔案、發布狀態、驗證運行結果。 |
使用記憶功能綁定常用資訊
如果經常操作同一個工作空間或Airflow執行個體,可以讓Data Agent記住常用資訊。後續提問時,您只需在對話中提到"預設工作空間""預設Airflow執行個體"或別名,Data Agent會優先使用已綁定的資訊。
適合綁定的資訊:
預設工作空間名稱或ID。
預設Airflow執行個體名稱或ID。
常用地區。
常用DAG ID、DAG發布目錄。
常用Connection、Variable、Pool名稱。
使用樣本
綁定資訊時描述 | 後續使用時描述 |
"記住預設工作空間ID是 | "查詢預設工作空間下有哪些Airflow執行個體。" |
"把工作空間 | "把本地 |
"記住DAG | "觸發預設調試DAG,並查看運行結果。" |