全部产品
Search
文档中心

数据湖 OpenLake:数据血缘

更新时间:Sep 16, 2026

使用DataWorks数据地图查看表或数据服务API时,可在对应的详情页面查看详细的血缘信息,这对于数据溯源及管理有很大帮助。当前控制台按EMR Hive、Data Lake Formation(DLF)与数据湖构建(DLF-Legacy)等类型纳管计算与元数据,本文与您在数据地图、数据开发中看到的分类保持一致,并说明各类型下的血缘查看方式。

表血缘

查看入口

在数据地图模块,查找某张表并进入表详情页面后,单击血缘信息页签查看表级和字段级的血缘详情。同时,您也可以进行影响分析,获取当前表的下游表列表,支持将下游表列表下载为本地文件或通过邮件进行变更通知。

说明

数据地图支持展示基于调度作业、数据流转信息解析得出的表和表、字段和字段之间的血缘关系;暂不包含临时查询等手动操作产生的血缘关系。离线数据T+1更新其血缘关系。

在血缘信息页签下,默认展示表血缘视图,以可视化关系图呈现表与表之间的血缘关系及关系类型(如外表映射)。单击节点可查看表的详细信息,包括表名、项目名称、责任人和存储量等,并可单击申请权限发起权限申请。

各数据源使用限制

EMR Hive、DLF 与 DLF-Legacy

  • EMR Hive:EMR集群若要在DataWorks管理元数据, 需先在集群侧配置EMR-HOOK 。若未配置,则在DataWorks中无法展示血缘关系。配置EMR-HOOK,详情请参见配置Hive的EMR-HOOK。

  • DLF 与 DLF-Legacy:Data Lake Formation(DLF)及数据湖构建(DLF-Legacy)中的表,在通过元数据采集纳入数据地图后,当计算任务基于Serverless Spark、 Serverless StarRocks 或 Serverless Flink 引擎使用相应 DLF 元数据时,支持在数据地图中展示血缘;其他引擎或场景是否展示血缘,取决于对应元数据采集与解析能力。详情请参见元数据采集。

    重要

    Serverless Spark引擎、Serverless StarRocks引擎和Serverless Flink引擎需绑定到DataWorks工作空间,否则对应血缘会被认为与DataWorks无关而被忽略。

  • EMR Hive 计算集群相关:EMR on ACK类型的Spark集群不支持查看血缘,EMR Serverless Spark集群支持查看血缘。

  • EMR Hive 计算集群相关:EMR Presto节点的任务不支持查看血缘关系。

  • EMR Impala 引擎:EMR Impala 任务的血缘采集依赖 Impala 自身的血缘日志。需要在 EMR 集群的 集群服务 > Impala > 配置 中,将参数lineage_event_log_dir配置为/mnt/disk1/log/impala/lineage_log并重启 Impala 服务,DataWorks 数据地图即可展示 EMR Impala 任务的表级和字段级血缘。

    说明
    • 仅支持 EMR DataLake 集群的 Impala 任务。HMS(对应数据源类型 EMR Hive)和 DLF(对应数据源类型 DLF)两种元数据均支持。

    • 对 EMR 集群版本和 Impala 版本无要求,集群中部署有 Impala 即可。

    • 该能力当前处于灰度开放阶段,使用前请提交工单或联系阿里云技术支持开通。

各数据源血缘展示情况说明

数据源

数据集成

数据开发

表级血缘

字段级血缘

表级血缘

字段级血缘

E-MapReduce

支持详情页

支持详情页-血缘信息

支持离线同步

(OSS、Hive)

不支持实时同步

支持离线同步

(OSS、Hive)

不支持实时同步

Hive、Spark(spark-submit)、Spark SQL(支持Hudi格式)、Shell(使用beeline提交的Hive SQL)

支持insert into /insert overwrite table

支持create as select from table

不支持create external table

Hive、Spark(spark-submit)、Spark SQL(支持Hudi格式)、Shell(使用beeline提交的Hive SQL)

支持insert into /insert overwrite table

支持create as select from table

不支持create external table

StarRocks

支持详情页

支持详情页-血缘信息

不支持离线同步

不支持实时同步

不支持离线同步

不支持实时同步

支持insert into /insert overwrite table

支持create as select from table

不支持create external table

支持insert into /insert overwrite table

支持create as select from table

不支持create external table

支持:表示支持;不支持:表示不支持。

数据服务API血缘

查找某个数据服务API并进入API详情页面后,您可以单击血缘信息页签,查看API的血缘详情。

血缘信息页面展示API的完整数据血缘链路。左侧为数据源表(如MySQL表 rds_table),通过生成API关系连接到中间的API节点,右侧通过API授权关系分叉连接到多个APP节点。页面提供展开时隐藏兄弟节点和开启缩略图两个开关,并包含API、表/MySQL、APP、生成API、API授权等图例。单击任意节点可查看实体类型、名称、数据源、负责人等详情信息。