数据地图是在元数据基础上提供的企业数据目录管理模块,涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。
元数据采集与接入
- MaxCompute数据
如果您使用了MaxCompute引擎,您可以直接在数据地图进行MaxCompute表元数据管理的相关操作。
- 其他类型元数据
除MaxCompute外,您还可以通过元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理。在数据发现页面通过元数据采集器将其他数据源中的元数据采集至DataWorks数据地图,采集完成后,您可以在数据地图搜索并查看各数据源的元数据信息。除MaxCompute以外,目前数据地图支持的其他数据源类型有:E-MapReduce、Hologres、CDH Hive、CDH Kudu、CDH Hbase、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、OSS、OTS、PostgreSQL、MySQL、SQL Server、Oracle(持续扩充中),元数据采集配置详情请参见数据发现。
网络连通
如果您需要将数据源中的元数据导入数据地图进行统一的元数据管理,需要先确保数据地图元数据采集器能正常访问您的数据库。如果您的数据库有白名单访问控制,您可以在数据库中根据如下说明配置对应白名单:
- 如果您需要进行元数据采集的数据库已开启白名单访问控制,请在数据库白名单列表中,添加您使用的DataWorks所在地域对应的IP网段。需要配置的白名单请参见元数据采集的数据源有白名单访问控制时需要配置的白名单。
- 如果MaxCompute项目未开启白名单访问控制,则DataWorks可以正常使用数据地图访问MaxCompute的数据表,如果MaxCompute项目开启了白名单访问控制,请在MaxCompute的白名单列表中,添加需要使用的DataWorks所在地域的IP网段。要配置的白名单请参见MaxCompute开启白名单访问控制时需要配置的白名单列表。
数据总览
- 您可以在数据总览页面查看当前地域(Region)下的MaxCompute总项目数,总表数、存储量、总API数、存储趋势图、项目占有率Top、表占有率Top和热门表。
- 您还可以查看元数据采集完成后的AnalyticDB MySQL 3.0、MySQL、E-MapReduce、Hologres、AnalyticDB PostgreSQL、OTS等的数据库总数,总表数、总API数等信息。
详情请参见数据总览。
查找表和API
数据地图支持您通过如下方式查找表和API。
-
- 您可以通过首页中的表类目下展示的近期浏览的表、近期读取的表、热门浏览和热门读取等列表快速获取相应的表。或者在搜索框中输入关键字搜索目标表,详情请参见首页。
- 您还可以通过首页中的API类目下展示的近期浏览的API、热门浏览的API、热门调用的API等列表快速获取相应的API,或者在搜索框中输入关键字搜索目标API,详情请参见首页。
-
- 您可以在全部数据界面中的表类目下对各数据源中元数据采集后的表通过表名,表描述及字段名,字段描述进行搜索。同时支持通过表所在类目,项目或数据库进行表过滤。此外,对于MaxCompute还支持根据表所在生产或开发环境及表负责人进行过滤,对于E-MapReduce还支持通过集群过滤表。详情请参见查找表。
- 您还可以在全部数据界面中的API类目下对当前租户下所有空间中的API,通过输入API名称、API描述等关键字进行搜索,同时支持通过API类型、工作空间、负责人对搜索结果进行过滤。找到符合条件的API。详情请参见查找API。
查看表详情和API详情
- 您可以单击目标表名称跳转至表详情页面,查看表的基础信息、产出信息和血缘信息等信息。请参见查看表详情。说明 血缘信息页面中您可以查看引擎节点内部血缘关系,具体引擎节点血缘支持情况以产品实际页面展示为准。此外,MaxCompute还支持基于离线同步的完整链路血缘查看。您可以查看MaxCompute表的上下游血缘,通过展开表血缘层级查看MaxCompute表的原始数据来源相关信息和MaxCompute表数据最终流向的数据库相关信息。表详情页面右上角支持通过表名,表描述,字段名,字段描述及项目名等关键字进行搜索。详情请参见查看表详情。
- 您可以单击目标API名称跳转至API详情页面,查看API的基础信息、技术信息等信息。详情请参见查看API详情。
API详情页面右上角支持通过API ID、API Path、API名称、API描述等关键字搜索API。
表的有序组织和管理
类目管理功能方便您通过类别有效地组织和管理表,表的类目管理配置完成后,您可以在查找表时,通过类目来过滤目标表。详情请参见配置管理,同时支持您管理表。
说明 阿里云主账号及拥有AliyunDataWorksfullaccess权限的RAM用户可以编辑类目树。
- 类目管理
- 表管理对于MaxCompute数据类型,数据地图支持批量修改中文名,生命周期、支持批量删除开发表或者生产表,批量转交表责任人。详情请参见我的数据。
- 个人收藏
表权限管控
- 表操作权限申请
标准模式工作空间下,RAM用户默认无法通过SQL命令直接操作生产表,如果您需要操作生产表或跨账号查询生产表,需要进行权限申请,您可以在表详情页中的申请权限入口申请表的相关权限。当您在表详情页单击申请权限时,将跳转到安全中心进行具体的权限申请操作,详情请参见申请表权限。说明 如果RAM用户无某张表的查询权限,默认情况下将无法通过数据地图表详情页中的数据预览功能来查看该表数据。
- MaxCompute表数据预览权限控制
您可以在配置管理,项目管理配置中对具体工作空间的MaxCompute开发表或生产表开启预览权限,开启后,该项目下的表无需申请访问权限,即可被工作空间中所有成员预览。详情请参见项目管理配置。说明
- 此操作可能存在敏感数据泄露的风险,请谨慎评估后再开启。
- 所在工作空间的项目owner或者工作空间管理员可进行该操作。
- 此权限仅控制数据地图中表详情页面的数据预览功能。
- 隐藏表
表隐藏后,搜索表时将无法搜索到该表。支持对所有人隐藏或者仅对表所在工作空间下用户可见。详情请参见我的数据。
您可以选择表状态为- 隐藏:所有人都不可以通过搜索来访问到该表。
- 仅项目:仅对表所在工作空间下用户可见(可搜索到)。
- 显示:所有人都可以通过搜索访问到该表。
说明 表owner和工作空间管理员默认不受上述权限控制。
其他
- 工作空间管理
您可以通过工作空间列表。查看当前阿里云主账号下的所有工作空间详情列表,单击目标工作空间名称可以查看工作空间的详细信息。详情请参见
- 手动同步工具
如果表存在但是搜索不到或者表更新了但是数据地图显示还未更新,您需要手工同步表。
- 在搜索结果页面单击手工同步。
- 在数据地图的
odps.项目名称.表名称
的表GUID后,单击手工同步。说明 手工同步工具仅对MaxCompute有效。
页面,输入格式为
完成上述操作后您可以在数据地图的全部数据中再次搜索关键词查询对应的表。
- 在搜索结果页面单击手工同步。