Data Agent内置了一组Airflow Skills,可以辅助您完成Airflow DAG编写、实例管理和运行态运维。您只需通过自然语言对话描述要完成的DMS Airflow任务,Data Agent会自动选择合适的Skill处理。本文介绍各Skill的能力、使用示例和最佳实践。
Skills能力说明
Data Agent支持以下三个Airflow Skills,这些Skill会自动加载到Data Agent中。
Skill | 适用场景 | 典型交付结果 |
| 编写、修改、检查Airflow 3 DAG。支持DMS SQL、无锁SQL、Notebook、AnalyticDB Spark、Lindorm Spark、DTS入湖、SSH等任务类型,可设计调度、依赖、参数、告警和运行配置。 | DAG文件、任务说明、调度和依赖说明、运行前配置清单、检查结果。 |
| 管理DMS Airflow实例和工作空间。支持创建、查询、更新实例,配置规格、日志目录、DAG/插件目录、OSS挂载,上传并发布工作空间代码。 | 实例信息、部署/发布状态、Airflow ID、失败摘要、下一步建议。 |
| 管理Airflow运行配置和运行状态。支持对Connections、Variables、Pools、DAG状态、DAG Run、Task Instance及DAG失败进行排查。 | 配置操作结果、DAG Run状态、失败任务、错误摘要、根因判断和修复建议。 |
Skills使用示例
在Data Agent中,您只需用自然语言描述任务,Data Agent会自动匹配合适的Skill执行。在描述任务时建议按层级指定内容:工作空间 → Airflow实例 → 具体操作。
airflow-operation
自然语言任务描述 | Data Agent交付结果 |
"在工作空间 | 实例创建结果、Airflow ID、部署状态。 |
"查询工作空间 | 实例列表、实例状态、可继续操作的实例ID。 |
"把本地 | 上传文件清单、发布状态、是否需要等待DAG解析。 |
airflow-rest-api
自然语言任务描述 | Data Agent交付结果 |
"在工作空间 | Connection创建结果,敏感字段不显示。 |
"触发工作空间 | DAG Run ID、触发状态、后续查看建议。 |
"分析工作空间 | 失败run、失败任务、关键错误、根因判断、修复建议。 |
使用Data Agent辅助Airflow任务开发
推荐分两步完成Airflow任务开发:
编写Airflow代码:提供DAG ID、调度周期、任务类型、任务内容、依赖关系、运行配置和告警要求。Data Agent交付DAG文件、任务说明、运行前配置清单和检查结果。
上传并发布到工作空间:提供工作空间、Airflow实例、本地DAG文件或目录、目标发布目录,以及是否需要验证运行。Data Agent交付上传结果、发布状态和验证运行结果。
使用示例
自然语言任务描述 | Data Agent交付结果 |
"帮我开发一个Airflow DAG,DAG ID为 | DAG文件、任务依赖说明、运行前配置清单。 |
"把刚才生成的DAG发布到工作空间 | 上传结果、发布状态、是否需要等待解析。 |
"帮我开发 | DAG文件、发布状态、验证运行结果。 |
使用记忆功能绑定常用信息
如果经常操作同一个工作空间或Airflow实例,可以让Data Agent记住常用信息。后续提问时,您只需在对话中提到"默认工作空间""默认Airflow实例"或别名,Data Agent会优先使用已绑定的信息。
适合绑定的信息:
默认工作空间名称或ID。
默认Airflow实例名称或ID。
常用地域。
常用DAG ID、DAG发布目录。
常用Connection、Variable、Pool名称。
使用示例
绑定信息时描述 | 后续使用时描述 |
"记住默认工作空间ID是 | "查询默认工作空间下有哪些Airflow实例。" |
"把工作空间 | "把本地 |
"记住DAG | "触发默认调试DAG,并查看运行结果。" |