DataWorks中的逻辑模型是数据设计的蓝图。发布模型可将逻辑模型物化为MaxCompute、Hologres等物理引擎中的物理表或视图,用于后续的数据开发与分析。
限制条件
发布模型前,需满足以下条件:
目标引擎:支持发布至 MaxCompute、Hologres、EMR Hive、CDH、MySQL 引擎。
发布类型:
发布为视图或物化视图时,目标引擎仅支持 MaxCompute。
发布为物化视图时,发布模式仅支持删除重建。
环境:
简单模式工作空间:仅支持发布至生产环境。
标准模式工作空间:支持发布至开发或生产环境。
资源组:
当目标引擎为EMR Hive或 CDH 时,必须指定独享调度资源组或Serverless资源组执行发布任务。
发布并物化模型
维度表、明细表、汇总表、应用表可直接发布物化至创建的数据源实例中,用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。
发布模型。
模型创建完成后,您可单击表详情页顶部菜单栏的
图标,在弹出的发布对话框中配置如下关键参数。
参数
描述
发布类型
设置模型物化的形态。
物理表:在目标引擎中创建一张物理表。
视图:在目标引擎中创建一个视图,仅支持MaxCompute数据源类型。
物化视图:在目标引擎中创建一个物化视图,仅支持MaxCompute数据源类型。本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。更多介绍详情请参见物化视图操作。
数据源类型
选择数据存储的引擎,目前可选如下几类:MaxCompute、EMR Hive、Hologres、CDH、MySQL。
生效环境
可选择发布至开发或生产环境。
如果您使用的是简单模式的DataWorks工作空间,则仅支持发布表到生产环境。
如果您使用的是标准模式的DataWorks工作空间,则支持发布表到生产环境或开发环境。
发布模式
定义模型发布到目标引擎的方式。
增量发布:仅将当前模型的变更部分更新至目标引擎。建议对已发布的模型使用此模式,以保留历史数据并减少对线上业务的影响。
删除重建:先删除目标引擎中已存在的同名模型,然后重新创建。注意:此操作将删除并重建表,导致历史数据丢失。
首次发布时,两种模式效果相同。
自动落标
设置模型发布后,是否自动生成质量规则。详情参见数据落标。
是:发布生产环境成功后,针对主键、非空及关联标准代码的字段自动生成质量规则。
否:不自动生成质量规则。
资源组
选择模型表物化为E-MapReduce或CDH的物理表时,资源组必填。请确保所选资源组与数据源之间的网络连通。
说明发布E-MapReduce或CDH的物理表仅支持使用独享调度资源组。
如果您没有合适的独享调度资源组,则可参考使用独享调度资源组新建。
DDL
DataWorks根据模型配置自动为您生成发布为物化视图的SQL语句。由于SELECT语句必须执行成功此处发布才会成功,因此您需手动修改
AS SELECT语句为可执行的SQL语句。说明仅当选择发布模型为物化视图时,需配置该参数。
物化视图的DDL操作,详情请参见物化视图操作。
配置完成后单击发布,系统会将模型发布至对应的开发或生产环境,并物化至所选引擎。
支持在发布对话框查看当前发布进度及相关日志
支持重复执行发布操作将模型发布至不同的环境中。
可选:发布完成后,您可单击表详情页顶部菜单栏的
图标,查看最近一次发布操作的发布结果以及发布的详细信息。其中,发布状态包含发布成功、发布失败、发布中三种状态。发布成功的日志如下图所示。
说明当发布状态为发布失败时,您需要根据具体的报错信息尽快定位原因并处理。
当发布日志对话框显示暂无发布日志。表示模型从未被发布过。
查看发布记录
模型发布成功后,您可进入模型的编辑页面,单击右侧导航栏的发布记录,查看模型历史发布版本的详情。

生成 ETL 代码框架(模型开发)
在DataWorks智能数据建模中,可使用模型开发功能,为已发布的模型表(如维度表、明细表)生成ETL代码框架。
模型开发功能仅支持为发布至MaxCompute和EMR Hive计算引擎的模型表生成代码。
在DataWorks智能数据建模中,双击已发布的模型表,进入表详情页面。
单击操作栏的模型开发。
在弹出的模型开发对话框中,选择新建 DataStudio 节点或绑定 DataStudio 节点,配置相关参数后单击确定。
选择新建 DataStudio 节点

系统将自动创建DataStudio节点,并根据表名自动填充节点名称。
若模型表发布至MaxCompute引擎,则创建ODPS SQL节点。
若模型表发布至EMR Hive引擎,则创建EMR Hive节点。
确认配置信息后,单击去 DataStudio。系统会在数据开发自动生成创建节点的弹窗,点击确定即可创建节点并生成ETL代码。
选择绑定 DataStudio 节点

将代码框架关联至一个已有的、相同引擎类型的DataStudio节点。绑定成功后,可单击节点名称跳转至对应的节点页面继续开发。
如果需要为同一个模型表关联多个节点,可再次单击模型开发进行绑定。
计费说明
发布模型功能本身不收费。物化过程中涉及的计算和存储资源将产生费用:
目标引擎费用:模型物化后,在目标引擎(如MaxCompute、Hologres)中占用的存储资源和后续的计算资源,按对应产品的计费规则收费。