使用DataWorks数据地图查看表或数据服务API时,可在对应的详情页面查看详细的血缘信息,这对于数据溯源及管理有很大帮助。当前控制台按EMR Hive、Data Lake Formation(DLF)与数据湖构建(DLF-Legacy)等类型纳管计算与元数据,本文与您在数据地图、数据开发中看到的分类保持一致,并说明各类型下的血缘查看方式。
表血缘
查看入口
在数据地图模块,查找某张表并进入表详情页面后,单击血缘信息页签查看表级和字段级的血缘详情。同时,您也可以进行影响分析,获取当前表的下游表列表,支持将下游表列表下载为本地文件或通过邮件进行变更通知。
数据地图支持展示基于调度作业、数据流转信息解析得出的表和表、字段和字段之间的血缘关系;暂不包含临时查询等手动操作产生的血缘关系。离线数据T+1更新其血缘关系。
在血缘信息页签下,默认展示表血缘视图,以可视化关系图呈现表与表之间的血缘关系及关系类型(如外表映射)。单击节点可查看表的详细信息,包括表名、项目名称、责任人和存储量等,并可单击申请权限发起权限申请。
各数据源使用限制
EMR Hive、DLF 与 DLF-Legacy
EMR Hive:EMR集群若要在DataWorks管理元数据, 需先在集群侧配置EMR-HOOK 。若未配置,则在DataWorks中无法展示血缘关系。配置EMR-HOOK,详情请参见配置Hive的EMR-HOOK。
DLF 与 DLF-Legacy:Data Lake Formation(DLF)及数据湖构建(DLF-Legacy)中的表,在通过元数据采集纳入数据地图后,当计算任务基于Serverless Spark、 Serverless StarRocks 或 Serverless Flink 引擎使用相应 DLF 元数据时,支持在数据地图中展示血缘;其他引擎或场景是否展示血缘,取决于对应元数据采集与解析能力。详情请参见元数据采集。
重要Serverless Spark引擎、Serverless StarRocks引擎和Serverless Flink引擎需绑定到DataWorks工作空间,否则对应血缘会被认为与DataWorks无关而被忽略。
EMR Hive 计算集群相关:EMR on ACK类型的Spark集群不支持查看血缘,EMR Serverless Spark集群支持查看血缘。
EMR Hive 计算集群相关:EMR Presto节点的任务不支持查看血缘关系。
EMR Impala 引擎:EMR Impala 任务的血缘采集依赖 Impala 自身的血缘日志。需要在 EMR 集群的 集群服务 > Impala > 配置 中,将参数
lineage_event_log_dir配置为/mnt/disk1/log/impala/lineage_log并重启 Impala 服务,DataWorks 数据地图即可展示 EMR Impala 任务的表级和字段级血缘。说明仅支持 EMR DataLake 集群的 Impala 任务。HMS(对应数据源类型 EMR Hive)和 DLF(对应数据源类型 DLF)两种元数据均支持。
对 EMR 集群版本和 Impala 版本无要求,集群中部署有 Impala 即可。
该能力当前处于灰度开放阶段,使用前请提交工单或联系阿里云技术支持开通。
各数据源血缘展示情况说明
|
数据源 |
数据集成 |
数据开发 |
||
|
表级血缘 |
字段级血缘 |
表级血缘 |
字段级血缘 |
|
|
E-MapReduce 详情页 详情页-血缘信息 |
离线同步 (OSS、Hive) 实时同步 |
离线同步 (OSS、Hive) 实时同步 |
Hive、Spark(spark-submit)、Spark SQL(支持Hudi格式)、Shell(使用beeline提交的Hive SQL) insert into /insert overwrite table create as select from table create external table |
Hive、Spark(spark-submit)、Spark SQL(支持Hudi格式)、Shell(使用beeline提交的Hive SQL) insert into /insert overwrite table create as select from table create external table |
|
StarRocks 详情页 详情页-血缘信息 |
离线同步 实时同步 |
离线同步 实时同步 |
insert into /insert overwrite table create as select from table create external table |
insert into /insert overwrite table create as select from table create external table |
:表示支持;:表示不支持。
数据服务API血缘
查找某个数据服务API并进入API详情页面后,您可以单击血缘信息页签,查看API的血缘详情。
血缘信息页面展示API的完整数据血缘链路。左侧为数据源表(如MySQL表 rds_table),通过生成API关系连接到中间的API节点,右侧通过API授权关系分叉连接到多个APP节点。页面提供展开时隐藏兄弟节点和开启缩略图两个开关,并包含API、表/MySQL、APP、生成API、API授权等图例。单击任意节点可查看实体类型、名称、数据源、负责人等详情信息。