全部产品
Search
文档中心

大数据开发治理平台 DataWorks:创建逻辑模型:汇总表

更新时间:Jan 17, 2024

汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据,为后续的业务查询,OLAP分析,数据分发等提供基础。本文为您介绍如何创建汇总表。

前提条件

  • 已创建数据分层。数据分层是将相同功能作用的表挂载至统一的数据层,方便您查找使用。汇总表通常挂载于汇总数据层,用于将一个统计粒度(维度或维度组合)及该粒度下的多个派生指标汇总输出,为后续的业务查询,数据分发等提供基础。您也可以根据业务需求,选择将汇总表挂载至其他数据层。创建数据分层,详情请参见创建数仓分层

  • 已创建数据域。汇总表是基于数据域创建的,用于确定您需要建模的业务类型,承载业务过程。创建数据域,详情请参见数据域

  • 已创建时间周期,用于确定统计数据的时间范围。详情请参见时间周期

背景信息

汇总表是将一个数据域中的多个派生指标通过时间周期及关联维度整合在一起,关联的维度、时间周期和派生指标,用于生成汇总表中的统计字段,帮助您进行报表等分析展示。您可以使用汇总表呈现相同时间、相同维度下,多个派生指标所统计的业务情况。

创建汇总表

  1. 进入智能数据建模页面。

    登录DataWorks控制台,单击左侧导航栏的数据建模与开发 > 数据建模,在下拉框中选择对应工作空间后单击进入数据建模

  2. 智能数据建模页面的顶部菜单栏,单击维度建模,进入维度建模页面。

  3. 创建汇总表。

    1. 维度建模页面,鼠标悬停至加号图标,单击逻辑模型 > 创建汇总表

    2. 配置汇总表的基本信息。

      汇总表-基础信息

      参数

      描述

      示例值

      数仓分层

      挂载汇总表的数据层。默认选择公共层汇总数据层(DWS)。您也可以根据业务需求,选择将汇总表挂载至其他数据层。创建数据分层,详情请参见创建数仓分层

      汇总数据层(DWS)

      业务分类

      选择已创建的业务分类,详情请参见业务分类

      销售类

      数据域

      选择汇总表所挂载的数据域,用于确定汇总表需要整合呈现的统计数据主题。创建数据域,详情请参见数据域

      说明

      每个汇总表只能挂载至一个数据域中。

      交易域

      粒度

      选择已创建的维度。创建维度,详情请参见创建概念模型:维度

      订单类型

      时间周期

      用于确定汇总表需要整合的统计数值的时间范围。例如,近一天,近一周。

      您需要从已创建的时间周期中选择。如果已创建的时间周期中没有符合您业务需求的时间,则您可以参考时间周期新建。

      1w(近7天)

      修饰词

      用于确定统计数据的业务范围。

      您需要从已创建的修饰词中选择。如果已创建的修饰词中没有符合您业务需求的修饰词,则您可以参考修饰词新建。

      线上门店

      表名规则

      选择用于检查表命名规则的检查器。此处可选择您在数仓规划时,在各个数据分层中已创建的检查器,操作详情请参见配置及使用数仓分层检查器

      表名

      汇总表的表名称。若配置了表名规则,则汇总表的表名称需按照相应规则配置。

      dws_trade_buyer_subpay_1d

      表中文名

      表显示的中文名称。

      买家交易分阶段付款汇总表

      生命周期

      表存在的时间周期,单位为天。

      90天

      责任人

      当前汇总表的责任人。默认为创建汇总表的用户。

      描述

      表的描述信息。

      表类型

      您可以根据业务需求,选择如下表类型。

      • 普通汇总表:只能统计单粒度的数据,不会做多个粒度数据的再次汇总。

        例如,创建dws_demo_2普通汇总表,语句如下。

        create table dws_demo_2 (
            shop_code comment '维度:门店code',
            pay_amt comment '指标:门店销售金额',
            pay_cnt comment '指标:门店下单次数'
        ) comment '普通汇总表';

        您只需要使用select语法查询目标指标字段,即可获取固定粒度(门店粒度)的指标数据。普通汇总表不支持使用组合逻辑查询多个统计粒度的数据。

      • 轻度汇总表:可以统计多个粒度的数据,并将不同粒度的数据进行再次汇总。

        例如,创建dws_demo_1轻度汇总表,语句如下。

        create table dws_demo_1 (
            merchant_code comment '维度:商家code',
            company_code comment '维度:子公司code',
            shop_code comment '维度:门店code',
            sku_code comment '维度:商品code',
            pay_type comment '维度:支付类型',
            pay_amt comment '指标:销售金额',
            pay_cnt comment '指标:下单次数'
        ) comment '轻度汇总表';

        您可以通过group by语法,组合出多种不同粒度的派生指标,进行统计汇总。

        • 使用group by merchant_code语句,统计商家粒度的指标数据。

        • 使用group by merchant_code,company_code,shop_code语句,统计门店粒度的指标数据。

      普通汇总表

  4. 单击左上角的保存按钮,保存配置的汇总表信息。

添加表字段

您可以通过快捷模式代码模式为表添加字段,其中快捷模式支持如下导入方式:

  • 从表/视图导入:从计算引擎已存在的物理表或视图导入字段,即在查找已有表/视图下拉列表搜索并选择已存在的物理表或视图进行字段导入。

    说明

    当前仅支持从MaxCompute、Hologres、EMR Hive引擎的表或视图导入。

  • 从指标导入:从数据指标所有派生指标中选择所需指标作为模型字段。

快捷模式从表/视图导入

从表导入

  1. 单击快捷模式下,从表/视图导入后的展开

  2. 查找已有表/视图的输入框中输入相应名称,即可选择对应的表或视图,并在已引用的表后选择导入表或视图的全部字段或部分字段。

    说明
    • 输入名称时支持模糊匹配,即输入关键字便可搜索到所有名称中包含关键字的表或视图。

    • 仅支持搜索生产环境的表,不支持搜索开发环境的表。

    • 导入全部字段图标表示导入全部字段。

    • 部分字段图标表示导入部分字段。

  3. 当选择导入部分字段时,在弹出的窗口中,会为您展示所选表的字段,您可选择需要添加至模型的字段,完成后单击界面下方的导入

    说明

    如果已导入字段中存在字段显示名为空的字段,您可根据界面提示将字段描述填充为字段显示名。

快捷模式从指标导入

导入字段

  1. 单击快捷模式下,从指标导入后的快速导入

  2. 在弹出的窗口中,会为您展示当前已创建的派生指标,您可以在派生指标中选择需要添加至汇总表、应用表的字段。同时,您还可以使用时间周期业务过程修饰词原子指标筛选指定派生指标。

  3. 完成后单击界面下方的导入

代码模式

代码模式为您提供代码输入的操作方式,单击代码模式后,弹窗中会根据已配置的模型信息自动生成建模语言,您可以在此基础上修改模型信息,完成后单击下方的确定代码模式

设置表字段信息

完成上述操作后,模型所需字段即已被添加至该模型中,此时您可以根据业务需求设置模型各字段的关联字段冗余字段关联粒度/指标

  1. 设置字段属性。

    字段属性默认展示字段名称类型字段显示名描述主键非空度量单位操作等基础属性。您可以在展示已添加字段的右上方单击字段显示设置,选择需要展示出来的字段属性,并根据需要进行修改。

  2. 设置字段的关联字段标准关联标准代码

    用于为已添加的字段选择关联的字段标准,规范字段的取值内容及范围。

    关联字段标准:统一规范管理含义相同但字段名称不同的数据,定义字段的取值范围、度量单位等内容。

  3. 设置字段的冗余字段

    在已添加字段的操作列,单击冗余字段,即可设置字段的关联字段。

    冗余字段

  4. 设置字段的关联粒度/指标

    汇总表、应用表的各字段数值的统计类型可通过设置字段的关联类型来指定,包括统计粒度派生指标原子指标三种。

    • 统计粒度:用于关联维度表和维度表中的字段。例如,商品维度、商家维度。

    • 派生指标:指定汇总表字段需要整合的统计数值的派生指标。例如,近7天盒马App支付下单的金额数。

    • 原子指标:指定汇总表字段需要整合的统计数值的原子指标。例如,支付下单的金额数。

    说明

    从表导入的字段、代码模式添加的字段无默认关联类型,您可以手动设置字段的关联类型为哪种类型。

    如果您想设置或修改字段的关联类型,可以参考以下步骤进行修改。修改关联类型单击字段管理右侧的关联粒度/指标,在弹出的窗口中,修改字段关联的类型和关联的内容,完成后单击确定

  5. 完成设置后单击左上角的保存

后续步骤

表创建完成后,您仍需为表配置字段管理、关联关系、分区设置等内容,并将表发布至对应环境,详情请参见发布模型至引擎