当您已通过其他建模工具生成模型,此时,想更换为DataWorks的智能建模进行后续建模工作,则可以使用逆向建模功能。该功能无需您再次执行建模操作,即可帮助您快速将已有模型反向建模至DataWorks的维度建模中,节省了大量的时间成本。本文为您介绍如何进行逆向建模。

前提条件

  • 使用其他建模工具生成的表已同步至MaxCompute中,同时,MaxCompute引擎已绑定至目标DataWorks工作空间。绑定引擎至DataWorks工作空间,详情请参见配置工作空间
  • 已规划建模空间,添加待逆向建模表所在的工作空间至数据模型设计空间,详情请参见建模空间
  • 已创建数据域,用于确定数据建模的业务类型,详情请参见数据域
  • 已创建业务过程,用于确定数据建模的具体业务活动的,详情请参见业务过程
  • 已创建业务分类,用于确定数据建模所需要分析的逻辑主体,详情请参见业务分类

使用限制

  • 当前仅支持对MaxCompute引擎中生产环境的表进行逆向建模。
  • 仅支持对数据模型设计空间中添加的工作空间进行逆向建模。如果您需要对指定工作空间中的表进行逆向建模,则可将该工作空间添加至数据模型设计空间,详情请参见建模空间
  • 当目标工作空间中存在正在执行的逆向建模任务时,则该任务结束之前不能再发起新的逆向建模任务。

建模流程

逆向建模主要用于将其他建模工具生成的模型反向建模至DataWorks的维度建模中,其建模流程如下:逆向建模流程
  1. 配置逆向建模策略。
    • 建模范围:创建模型前,您需要根据实际业务需求确定需要逆向建模的表范围,即表所在的工作空间、精确的表名称。
    • 新创建的表名称及所属层级:您需要根据实际业务需求确定建模时对新创建表的命名要求以及其所属的数仓层级。
    • 建模执行方式:确定建模时是全量新建目标表,还是仅创建维度建模中不存在的目标表。
    说明 逆向策略创建后不可更改,请您根据实际业务需求提前做好策略规划。
    详情请参见配置逆向建模策略
  2. 生成初步模型。

    系统会根据您配置的建模策略生成初步的表模型。

  3. 确认模型信息。

    系统初步生成的表模型可能会存在偏差,您需要根据具体业务需求进行模型确认及调整。例如,更改表所在的数据域业务过程等层级信息。详情请参见确认模型信息

  4. 生成最终模型。
    建模完成后,您可以查看建模成功的表类型及数量,以及建模失败的表的错误信息,快速定位问题并及时处理。
    说明
    • 建模成功的表默认已被物化至相应引擎,您无需再进行发布。
    • 建模成功的表会被存放至维度建模中,您可以进入维度建模页面查看,并进行后续的管理操作,详情请参见管理表

操作步骤

  1. 进入数据建模
  2. 进入逆向建模
    维度建模页面的左侧导航栏,单击逆向建模,进入逆向建模页面。
  3. 启动建模。
    • 首次使用逆向建模功能,则请单击逆向建模界面中间的快速开始,启动建模。
    • 非首次使用逆向建模功能,则请单击建模列表右上角的开始逆向建模,启动建模。
  4. 配置逆向策略。
    说明 逆向策略创建后不可更改,请您根据实际业务需求提前做好策略规划。
    1. 配置策略信息。
      逆向策略
      参数 描述
      表所在项目 选择需要逆向建模的表所在的DataWorks工作空间。
      说明 仅支持对数据模型设计空间中添加的工作空间进行逆向建模。如果您需要对指定工作空间中的表进行逆向建模,则可将该工作空间添加至数据模型设计空间,详情请参见建模空间
      表名匹配规则 输入需要逆向建模表的英文名称。
      系统会根据您输入的表名称,在目标工作空间中进行匹配,具体如下:
      • 当匹配到名称相同的表时,则会根据配置的执行方式对该表进行逆向建模,创建相应表至维度建模中。
      • 当匹配不到名称相同的表时,则逆向建模最终会失败,不会创建该表。
      说明
      • 当前仅支持精准匹配,即输入的表名称为表的精准全称。
      • 多个表名称之间使用英文分号(;)分隔,并且英文分号(;)后不能添加空格。
      表命名规范
      用于解析表名匹配规则中输入的表名称,来规范逆向建模后的表名称,并将逆向建模后的表挂载至命名规范所配置的对应数仓层级下。解析规则如下:
      • 解析表名匹配规则中输入的表名称和下划线个数。
      • 表名称最多可以包含9个下划线,每两个下划线之间可以选择配置为业务过程数据域业务分类自定义内容等数仓层级。
      • 当识别到表名称包含对应数仓层级时,则会将该表挂载至对应的层级下。
      说明 当识别到表名称中不存在对应的数据域业务过程等数仓层级时,则该表的分层为空。您可以在确认模型信息时修改相应表所属的分层。
      假设已在DataWorks智能数据建模中创建salessupply数据域,并且逆向策略配置如下:
      • 表名匹配规则:输入dwd_sales;dim_supply
      • 表命名规范:配置为dwd_数据域
      则系统会执行如下操作:
      1. 系统会在目标工作空间中匹配dwd_salesdim_supply表。
        • 匹配成功:创建dwd_salesdim_supply表至DataWorks的维度建模中,并将dwd_sales表挂载至sales数据域,dim_supply表挂载至supply数据域。
        • 匹配失败:则最终逆向建模失败,不会在维度建模中创建dwd_salesdim_supply表。
      执行方式
      • 全量覆盖:如果表名匹配规则中输入的表在目标工作空间中能匹配到,选择该方式,则系统会将所有匹配到的表均逆向创建至DataWorks的维度建模中。

        当您需要全量重新建模目标表时,可以选择该方式。

        说明 如果维度建模中已存在所匹配的目标表,选择全量覆盖时会将原有已存在的表删除重建。
      • 增量更新:如果表名匹配规则中输入的表在目标工作空间中能匹配到,选择该方式,则系统会进行如下处理:
        1. 识别DataWorks维度建模中是否已创建所匹配的表,将已创建的表过滤掉。
        2. 将DataWorks维度建模中未创建的表逆向建模至维度建模中。

        当您已知维度建模中已创建部分目标表,并且该表未改动,不希望重复创建时,可以选择该方式。

      说明 如果表名匹配规则中输入的表在目标工作空间中未匹配到,则无论选择哪种方式,最终逆向建模均会失败。
    2. 单击开始创建模型,通过建模策略进行模型解析。
  5. 确认模型信息。
    1. 确认模型信息。
      系统根据您配置的建模策略生成初步表模型,您可以结合实际业务需求,调整表的类型,以及所属的数仓分层业务过程数据域业务分类等信息。同时,当目标表无需再进行建模时,您可以选择将其删除。确认模型信息
    2. 单击开始生成模型,生成模型。
  6. 查看建模结果。
    模型生成后,您可以查看本次建模操作成功创建的明细表维度表汇总表的数量,以及建模失败的表的详细信息,单击错误日志,即可快速定位问题原因并及时处理。
    说明
    • 建模成功的表默认已被物化至相应引擎,您无需再进行发布。
    • 建模成功的表会被存放至维度建模中,您可以进入维度建模页面查看,并进行后续的管理操作,详情请参见管理表
    生成模型

查看建模列表

逆向建模 > 建模列表页面,您可以查看已创建任务的详细信息及操作日志。查看建模列表
区域 描述
1 在该区域,您可以通过任务ID操作人操作日期进行筛选,查看指定条件的逆向建模任务。
2 在该区域,您可以查看逆向建模任务的逆向规则、建模结果等详情。
  • 对于已执行的建模任务,单击日志查看即可查看任务的日志信息。
  • 对于未执行的建模任务,单击任务查看即可返回任务详情页继续执行任务。

后续步骤

建模成功的表默认已被发布至目标引擎,您可以进入DataWorks的数据开发页面进行相关的数据开发操作。数据开发的功能介绍,详情请参见界面功能点介绍