本文为您介绍如何进入表详情页面,查看表的基础信息、产出信息和血缘信息等详情。

进入表详情页面

您可以通过如下两种方式进入表详情页面。
  • 首页进入
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间操作列的进入数据地图,默认进入数据地图的首页
    4. 在表页签,筛选数据源类型并在搜索框输入关键字,查找目标表。单击目标表名称,即可进入表详情页面。
  • 全部数据进入
    1. 登录DataWorks控制台
    2. 在左侧导航栏,单击工作空间列表
    3. 选择工作空间所在地域后,单击相应工作空间操作列的进入数据地图,默认进入数据地图的首页
    4. 数据地图顶部菜单栏,单击全部数据
    5. 在表页签,筛选数据源类型并在搜索框输入关键字,查找目标表。单击目标表名称,即可进入表详情页面。

查看表详情

表详情页面为您展示表的基础信息业务信息模型信息权限信息技术信息明细信息产出信息血缘信息使用说明数据质量使用记录数据预览数据探查查看表详情
区域 描述
1 在该区域您可以执行如下的操作:
  • 申请权限:您可以在安全中心申请表权限,并在数据地图查看申请记录。
  • 加入/查看专辑:您可以将当前表加入目标数据专辑中,在目标数据专辑详情页面进行表管理,或者查看当前表已经加入的相关数据专辑。
  • 收藏表:您可以收藏或者取消收藏不需要的表。
  • 生成API:您可以在数据服务页面生成和注册API。
  • 数据分析:您可以在SQL查询页面通过编写SQL语句进行数据查询与分析。
  • 刷新:刷新当前表的详细信息。
2 在该区域您可以输入表名、字段名、项目名等关键字搜索表。
3 在该区域您可以查看该表的如下信息:
  • 表基础信息:用于查看表的读取次数收藏次数浏览人数等信息。单击产出任务后的查看代码,即可查看代码详情。
    说明
    • 读取次数:统计近30天内生产环境发起的读取MaxCompute表的任务计数,读取表的任务类型包括但不限于SQL、Tunnel Download、数据集成等。目前仅统计与调度相关联任务的表读取次数,非DataWorks任务的表读取次数将不会被统计。此数据为离线统计,有T+1的延迟。
    • 收藏次数:表被收藏的人次,为实时统计的数据。
    • 浏览次数:统计30天内在数据地图浏览此表的人数,此数据为离线统计,有T+1的延迟。
    • 表存储量:统计的为表的逻辑存储大小,此数据为离线统计,有T+1的延迟。
    • 产出任务:写入当前表的DataWorks周期调度任务ID。若表被周期更新,但没有展示任务ID,可能是非DataWorks周期调度任务写入,详可咨询表负责人。此数据为离线统计,有T+1的延迟。
  • 业务信息:用于查看表所在的DataWorks工作空间的详情、环境类型所属类目等信息。
  • 权限信息:用于查看您当前拥有的表权限,您还可以单击权限信息区域右上方的更多,进入表权限申请页面申请权限。
  • 技术信息:用于查看计算引擎信息信息,单击计算引擎信息后的点击查看,即可查看或复制相关信息。
    说明 最后数据查看时间:
    • 统计的为表的最后访问时间,其访问包括手动执行命令访问该表数据和任务调度场景下访问该表数据。
    • 此数据仅供参考,不能百分之百精确反映该数据的真实访问时间。
    • 此数据为离线统计,有T+1的延迟。
4 在该区域您可以查看该表的如下信息:
  • 明细信息:用于查看表的字段信息分区信息变更记录。详情请参见查看明细信息
  • 产出信息:如果表的数据会随着对应的任务周期性发生变化,您可以单击产出信息,查看该表的变化情况、持续更新的数据等信息。此数据为离线统计,有T+1的延迟。
  • 血缘信息:用于查看引擎节点内部血缘关系,您也可以查看当引擎作为数据源时,与产出的数据接口API之间的血缘关系。此外,MaxCompute还支持基于离线同步的完整链路血缘查看。详情请参见查看血缘信息(旧版)。此数据为离线统计,有T+1的延迟。
    说明 如需从API视角查看上游(数据源)和下游(APP)的完整端到端血缘链路,请参考查看API详情
  • 使用说明:您可以进行编辑查看历史版本查看markdown语法等操作,根据数据的业务说明了解相关的信息。
  • 数据质量:为您展示当前表配置的数据质量监控规则详情及DQC告警列表,您可以单击右侧的配置规则跳转至数据质量页面为表配置质量监控规则。详情请参见:按表配置监控规则
  • 使用记录:用于查看表的频繁关联访问统计
    • 频繁关联:为您展示有多少人在使用当前的表数据。
      说明 统计为30天内作为关联条件参与计算的次数,此数据为离线统计,有T+1的延迟。
    • 访问统计:以图标方式为您展示表的使用记录。
      • 读取趋势图:折线图上日期对应的为日期当天的读取次数,区分是从开发环境还是生产环境进行读取;字段关联次数与任务执行次数和该字段在代码中出现的次数相关,此数据为离线统计,有T+1的延迟。

        例如:如果在同一个任务中字段出现1次,如果任务执行2次,统计次数便为2次;如果字段在代码中出现2次,那么一次任务运行,其字段统计次数便为2次。

      • 字段热度明细:字段在SQL中的使用次数(where、select、join、groupBy)的统计信息。此数据为离线统计,有T+1的延迟。
      • 读取Top人员:统计近30天内,在SQL中对表的读取人员的统计信息(包含调度使用的生产账号和个人账号的访问),其读取内容包括对字段的where、select、join、groupBy等操作。此数据为离线统计,有T+1的延迟。
  • 数据预览:可以预览当前表的数据。
    重要
    • 您需要拥有权限,才可以预览生产环境的表。如果没有权限,请参见申请表权限进行申请。
    • 如果表所在工作空间在项目管理配置开启了表预览权限,即使没有在安全中心申请表查询权限,同样可以在此处预览数据。
    • 如果您已配置数据脱敏规则并设置数据脱敏规则为生效状态,那么数据脱敏规则也会在数据预览页面生效。关于数据脱敏规则配置方法,详情请参见数据脱敏管理
    • 暂不支持外部表数据预览。
  • 数据探查:数据探查通过分析数据的结构和取值,为您展示数据的统计信息和分布情况等探查结果。详情请参见数据探查
    说明 数据探查将会产生数据质量实例费,您可以在数据质量任务查询面板中,查看该表关于此次探查的日志。

查看明细信息

单击明细信息,查看表的字段信息分区信息字段信息
  • 字段信息:您可以查看表的字段信息,如果该表为分区表,您还可以查看分区字段信息字段信息
    操作 描述
    编辑 单击后,您可以编辑字段的描述业务描述安全等级主键,并保存取消编辑的内容。
    您也可以选中多个字段,批量设置安全等级。
    说明
    • 空间管理员及表Owner支持编辑表字段。如果目标用户需要编辑表字段,则可授权空间管理员权限,详情请参见全局级模块权限控制
    • 仅单独设置字段安全等级的表,会显示安全等级
    • 仅MaxCompute引擎支持该功能。
    • 在MaxCompute引擎开启字段安全等级功能后,才可以在此处设置表字段的安全等级。开启安全等级功能,详情请参见Label权限控制
    批量编辑安全等级 用于批量设置表字段的安全等级,提升数据的安全性。
    说明 仅MaxCompute引擎支持该功能。
    上传 单击后,拖拽本地需要上传的数据至批量上传字段信息对话框中。
    说明
    • 空间管理员及表Owner支持上传数据至目标表。如果目标用户需要上传数据,则可授权空间管理员权限,详情请参见全局级模块权限控制
    • 仅支持上传.xlsx(Excel 2007版本)格式的文件,您也可以下载模板文件
    下载 单击后,直接下载当前表的字段信息。
    生成select 单击后,在生成select语句对话框中,查看或复制当前表的select语句。
    生成DDL 单击后,在生成DDL语句对话框中,查看或复制当前表的建表语句。
    说明
    • 字段热度:统计数据为前一天该字段在SQL中参与join的次数,次数按比例转换为星级,热度最高为5星,最小为0星。
  • 分区信息:查看当前表的分区名记录数逻辑存储大小等分区信息,仅MaxCompute分区表此部分展示有数据展示。分区信息
    说明 分区记录数和大小仅供参考。数据更新可能有延迟,实际以引擎侧为准。
  • 变更记录:查看当前表的变更描述变更类型粒度等变更记录。变更记录

    您可以在变更记录页签的左上方,从变更类型列表中,选择需要查看其变更记录的变更类型。

    变更类型包括创建表修改表删除表添加分区删除分区修改负责人修改生命周期

查看血缘信息(新版)

新版血缘信息对数据血缘图进行了升级,为您提供了更好的体验。进入血缘信息页面,默认展示新版功能,单击回到旧版即可切换使用旧版血缘信息。

血缘信息是基于解析调度作业等真实数据的流转情况,得出的表和表、字段和字段之间的血缘关系。在血缘信息页面,您可查看表或表字段的上下游节点,查看表原始数据来源及表数据最终流向的数据库相关信息。同时,也可根据需求进行不同层级血缘的影响分析。
说明
  • 仅DataWorks标准版及以上版本才可查看血缘信息。
  • 表和字段血缘是通过解析调度作业等真实数据的流转情况,得出不同表及不同字段间的血缘关系,该操作为离线统计,存在T+1的延迟。
  • 血缘信息暂不支持通过临时查询等手动操作产生的血缘关系。
  • 查看表血缘
    表血缘页签,您可查看当前表的血缘关系详情。查看表血缘功能说明如下。
    区域 描述
    1 在该区域,选择表血缘图的展示结构。
    2 该区域为您定义了表血缘图涉及的图标含义。您可根据图标快速判断表上下游间传递数据的任务类型。
    3 在该区域,选择表血缘图的展示布局。
    4 在该区域,您可查看当前表的血缘关系概况。主要包括:
    • 查看当前表血缘关系中各节点的上下游节点个数。鼠标悬停至表或任务类型,即可查看该表或任务类型的基本信息、日志、代码等。
    • 在输入框输入关键词,展示当前表下游节点中包含该关键词的所有表;也可输入@+账号名称,展示当前表下游节点中该账号名下的所有表。
    • 根据业务需求单击展开收起,展开或收起相应的上下游节点。
  • 查看字段血缘
    字段血缘页签,您可查看目标字段的血缘关系详情。查看字段血缘功能说明如下。
    区域 描述
    1 在该区域,选择字段血缘图的展示结构。
    2 该区域为您定义了字段血缘图涉及的图标含义,同时,可根据业务需求切换当前表中的字段,查看所选字段对应的字段血缘图。您可根据图标快速判断字段上下游间传递数据的任务类型。
    3 在该区域,选择字段血缘图的展示布局。
    4 在该区域,您可查看当前字段的血缘概况。主要包括:
    • 查看当前字段血缘关系中各节点的上下游节点个数。鼠标悬停至字段或任务类型,即可查看该字段或任务类型的基本信息、日志、代码等。
    • 在输入框输入关键词,展示当前字段下游节点中包含该关键词的所有字段;也可输入@+账号名称,展示当前字段下游节点中该账号名下的所有字段。
    • 根据业务需求单击展开收起,展开或收起相应的上下游节点。
  • 影响分析
    若当前表的表结构或表数据发生变化,均会对下游节点产生影响,可通过影响分析查看当前表存在哪些下游表,提前预知变更操作可能影响到哪些表。查看影响分析功能说明如下。
    区域 描述
    1 在该区域,选择需要分析的表血缘层级。最多支持分析50层血缘。
    2 在该区域,根据血缘层级、任务类型、表类型等信息进行筛选,展示所选条件的分析结果。您可下载分析结果至本地。
    3 该区域展示了所分析的血缘层级中符合条件的下游表。您可查看表的GUID、产出任务、血缘类型等基本信息,也可进入表或任务详情页查看详细信息。

查看血缘信息(旧版)

新版血缘信息对数据血缘图进行了升级,为您提供了更好的体验。进入血缘信息页面,默认展示新版功能,单击回到旧版即可切换使用旧版血缘信息。

表的血缘信息页面您可以查看引擎节点内部血缘关系,此外,MaxCompute还支持基于离线同步的完整链路血缘查看。您可以查看MaxCompute表的上下游血缘,通过展开表血缘层级查看MaxCompute表的原始数据来源相关信息和MaxCompute表数据最终流向的数据库相关信息。
说明
  • 您需要购买DataWorks高级版本,才可以使用血缘信息功能。例如,MaxCompute和E-MapReduce计算引擎需要标准版及以上版本。
  • MaxCompute表血缘基于ODPS SQL调度作业,解析得出的表和表,以及字段和字段之间的血缘关系;暂不包含临时查询等手动操作产生的血缘关系。此部分为离线统计,有T+1的延迟。
单击血缘信息,查看表的表血缘字段血缘影响分析
  • 表血缘包括图分析分层查看
    • 图分析:为您展示中心节点的全部上游、下游的层级数,以及全部上游、下游的节点数量。血缘信息
    • 分层查看:默认以当前表为中心,展开其一级上游和一级下游的全部节点。您可以根据GUID搜索表的上下游表。分层查看
  • 字段血缘:从字段名列表中,选择需要查看的字段的血缘关系。字段血缘
  • 影响分析:您可以根据血缘层级血缘字段任务类型表名称项目名称表负责人等信息,查看血缘关系的调度产出完整链路影响分析

    您可以单击开始分析,重新进行影响分析。分析完成后,您可以下载影响分析列表中的数据至本地,也可以通过邮件的方式,通知当前表的下游。

数据探查

数据探查通过分析数据的结构和取值,为您展示数据的统计信息和分布情况等探查结果。

数据探查的使用限制如下:
  • 仅支持探查分区表。
  • 仅支持探查生产环境的表。
  • 仅表的所有者有权限开启自动探查功能。
单击数据探查,设置探查方式并查看探查记录。数据探查
数据探查提供手动探查自动探查两种方式:
  • 手动探查
    说明 探查任务运行在当前表所在的MaxCompute项目下,单表探查仅支持10列。为优化资源,请仅勾选需要探查的列。
    配置手动探查任务的操作如下:
    1. 数据探查页签下,单击手动探查
    2. 手动探查对话框中,配置各项参数。手动探查
      参数 描述
      表名 格式为工作空间名称.表名,默认不可以修改。
      分区取值 分区取值列表中,选择需要探查的分区。
      详细配置 选中需要探查的列。
      预估费用 根据上述配置,预估运行探查任务所需要的费用。
      重要
      • 数据探查需要执行MaxCompute SQL语句,会带来一定的MaxCompute计算费用。该页面的预估费用仅为参考,实际费用受处理的数据量影响,会有波动,请以MaXCompute账单为准。
      • 数据探查复用数据质量产品能力,将会同时产生数据质量实例费用,此部分费用由DataWorks收取,详情请参见:计费逻辑说明
    3. 选中我了解数据探查服务需要收费
    4. 单击提交
    5. 待探查结束,在数据探查页签下,查看探查结果。

      您可以从探查记录列表中,选择需要查看的探查结果。其中数据分布 > 值范围是对某个字段的数据值分布的阶段进行统计。

  • 自动探查
    配置自动探查的操作如下:
    1. 打开自动探查开关。
    2. 自动探查(当分区信息发生变化时进行探查)对话框中,配置各项参数。自动探查
      参数 描述
      表名 格式为工作空间名称.表名,默认不可以修改。
      分区取值 默认为触发数据探查时的最新分区值,不可以修改。
      详细配置 选中需要探查的列。
      触发绑定 触发绑定列表中,选择需要关联的调度节点触发自动探查。您可以在运维中心查找调度节点的ID,建议您选择当前表对应的产出任务。

      选择需要探查的指标并提交自动探查后,探查任务会在关联的调度任务运行完成后再运行,针对最新的分区进行探查。

      预估费用 根据上述配置,预估运行探查任务所需要的费用。
      重要
      • 数据探查需要执行MaxCompute SQL语句,会带来一定的MaxCompute计算费用。该页面的预估费用仅为参考,实际费用受处理的数据量影响,会有波动,请以MaXCompute账单为准。
      • 数据探查复用数据质量产品能力,将会同时产生数据质量实例费用,此部分费用由DataWorks收取,详情请参见:计费逻辑说明
    3. 选中我了解数据探查服务需要收费
    4. 单击提交
    5. 待探查结束,在数据探查页签下,查看探查结果。

      您可以从探查记录列表中,选择需要查看的探查结果。