DataWorks:Avançado: Analisar categorias de product mais vendidas

1. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó workshop e clique em Data Timestamp.

2. No lado direito da página de edição do nó workshop, clique em Data Timestamp e configure os parâmetros relevantes. Abaixo estão os parâmetros principais para este tutorial. Mantenha os valores padrão para os parâmetros não descritos.

   Parâmetro de configuração de agendamento	Descrição
   Add Root Node	Neste tutorial, defina este parâmetro como Dry Run.
   Open Node	Neste tutorial, selecione o grupo de recursos serverless criado em Create a resource group and associate it with a workspace.
   Scheduling Settings	Como workshop é o nó inicial e não possui dependência upstream, clique em Scheduling Type para acionar o fluxo de trabalho a partir do nó raiz do workspace. O nó raiz do workspace é nomeado como: workspace_name_root.

3. Na barra de ferramentas do nó, clique em Resource Group for Scheduling para salvar o nó.

1. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó ods_item_info e clique em Node dependency configuration.

2. Configure a fonte de dados e o grupo de recursos.

   Parâmetro	Descrição
   Add Root Node	Fonte de dados: MySQL_Source.
   Destination	Fonte de dados: Selecione o recurso de computação do MaxCompute associado durante Create and associate a MaxCompute compute resource. Neste exemplo, selecione MaxCompute_Source.
   Open Node	Selecione o grupo de recursos serverless adquirido durante Create a resource group and associate it with a workspace.

3. Configure a solução de sincronização.

   1. Configure Source and Destination

      Nota

      Mantenha os valores padrão para os parâmetros não descritos na tabela.

      Seção de configuração	Parâmetro	Descrição da configuração
      Data Source	Table	item_info.
      Destination	Table	Clique em Generate Destination Table Schema para criar rapidamente uma tabela do MaxCompute. Cole a seguinte instrução DDL na seção Table Creation Statement e clique em Create Table. Esta tabela recebe as informações de product da origem. Instrução DDL CREATE TABLE IF NOT EXISTS ods_item_info( `id` BIGINT COMMENT '', `cate_id` BIGINT COMMENT '', `cate_name` STRING COMMENT '', `commodity_id` BIGINT COMMENT '', `commodity_name` STRING COMMENT '', `desc_path` STRING COMMENT '', `duration` BIGINT COMMENT '', `features` STRING COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `is_deleted` BIGINT COMMENT '', `is_virtual` STRING COMMENT '', `item_id` BIGINT COMMENT '', `item_status` BIGINT COMMENT '', `last_offline_time` DATETIME COMMENT '', `last_online_quantity` BIGINT COMMENT '', `last_online_time` DATETIME COMMENT '', `pict_url` STRING COMMENT '', `reserve_price` DECIMAL(38,18) COMMENT '', `secure_trade_ems_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_fast_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_ordinary_post_fee` DECIMAL(38,18) COMMENT '', `shop_id` BIGINT COMMENT '', `shop_nick` STRING COMMENT '', `sub_title` STRING COMMENT '', `title` STRING COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Neste tutorial, insira ${bizdate}. Durante a depuração, um valor constante é atribuído ao parâmetro bizdate para teste. Durante a execução agendada, um valor dinâmico é atribuído ao parâmetro bizdate. Para mais informações sobre os formatos de variáveis e métodos de configuração suportados pelo Data Studio, consulte Configure variables.

   2. Verifique o Destination Field Mapping e as Advanced Settings.

      O DataWorks mapeia colunas de origem para colunas de destino para gravar dados de colunas de origem específicas em colunas de destino específicas. Também é possível configurar concorrência de tarefas, políticas de dados sujos e outras definições na seção Advanced Settings à direita. Neste tutorial, defina Policy for Dirty Data Records como Disallow Dirty Data Records e mantenha os padrões para as demais configurações. Para mais informações, consulte Configure a single-table batch synchronization task.

4. Na barra de ferramentas do nó, clique em Save para salvar o nó.

1. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó ods_trade_order e clique em Open Node.

2. Configure a fonte de dados e o grupo de recursos.

   Parâmetro	Descrição
   Source	Fonte de dados: MySQL_Source.
   Destination	Fonte de dados: Selecione o recurso de computação do MaxCompute associado durante Create and associate a MaxCompute compute resource. Neste exemplo, selecione MaxCompute_Source.
   Running Resources	Selecione o grupo de recursos serverless adquirido durante Create a resource group and associate it with a workspace.

3. Clique em Source e configure a tarefa de sincronização.

   1. Configure Source and Destination

      Nota

      Mantenha os valores padrão para os parâmetros não descritos na tabela.

      Seção de configuração	Parâmetro	Descrição da configuração
      Running Resources	Next step	trade_order
      Destination	Data Source	Clique em Table para criar rapidamente uma tabela do MaxCompute. Cole a seguinte instrução DDL na seção Table Creation Statement e clique em Table. Esta tabela recebe as informações de product da origem. Instrução DDL CREATE TABLE IF NOT EXISTS ods_trade_order( `id` BIGINT COMMENT '', `biz_type` BIGINT COMMENT '', `buy_amount` BIGINT COMMENT '', `buyer_id` BIGINT COMMENT '', `buyer_memo` STRING COMMENT '', `buyer_nick` STRING COMMENT '', `end_time` DATETIME COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `ip` STRING COMMENT '', `is_parent` BIGINT COMMENT '', `is_sub` BIGINT COMMENT '', `item_id` BIGINT COMMENT '', `item_price` DECIMAL(38,18) COMMENT '', `logistics_status` BIGINT COMMENT '', `memo` STRING COMMENT '', `parent_order_id` BIGINT COMMENT '', `pay_status` BIGINT COMMENT '', `pay_time` DATETIME COMMENT '', `seller_memo` STRING COMMENT '', `shop_id` BIGINT COMMENT '', `status` BIGINT COMMENT '', `sub_order_id` BIGINT COMMENT '', `total_fee` DECIMAL(38,18) COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Generate Destination Table Schema	Neste tutorial, insira ${bizdate}. Durante a depuração, um valor constante é atribuído ao parâmetro bizdate para teste. Durante a execução agendada, um valor dinâmico é atribuído ao parâmetro bizdate. Para mais informações sobre os formatos de variáveis e métodos de configuração suportados pelo Data Studio, consulte Configure variables.

   2. Verifique o Destination Field Mapping e as Create Table.

      O DataWorks mapeia colunas de origem para colunas de destino para gravar dados de colunas de origem específicas em colunas de destino específicas. Também é possível configurar concorrência de tarefas, políticas de dados sujos e outras definições na seção Advanced Settings à direita. Neste tutorial, defina Partition Information como Disallow Dirty Data Records e mantenha os padrões para as demais configurações. Para mais informações, consulte Configure a single-table batch synchronization task.

4. Na barra de ferramentas do nó, clique em Save para salvar o nó.

Com base na tabela ods_item_info, este nó processa dados de dimensão de product e gera a tabela de dimensão de informações básicas de product dim_item_info.

1. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó dim_item_info e clique em Open Node.

2. Cole o seguinte código na página de edição do nó.

   CREATE TABLE IF NOT EXISTS dim_item_info (
       gmt_modified                   STRING COMMENT 'Item last modified date',
       gmt_create                     STRING COMMENT 'Item creation time',
       item_id                        BIGINT COMMENT 'Item numeric ID',
       title                          STRING COMMENT 'Item title',
       sub_title                      STRING COMMENT 'Item subtitle',
       pict_url                       STRING COMMENT 'Main image URL',
       desc_path                      STRING COMMENT 'Item description path',
       item_status                    BIGINT COMMENT 'Item status: 1 - approved, 0 - not approved',
       last_online_time               DATETIME COMMENT 'Last listing time, item go-on-sale time',
       last_offline_time              DATETIME COMMENT 'Sale end time, indicates the end of a sales cycle, only applies to auction items',
       duration                       BIGINT COMMENT 'Validity period, sales cycle, only two values: 7 days or 14 days',
       reserve_price                  DOUBLE COMMENT 'Current price',
       secure_trade_ordinary_post_fee DOUBLE COMMENT 'Standard mail shipping fee',
       secure_trade_fast_post_fee     DOUBLE COMMENT 'Express shipping fee',
       secure_trade_ems_post_fee      DOUBLE COMMENT 'EMS shipping fee',
       last_online_quantity           BIGINT COMMENT 'Stock quantity at the last listing time',
       features                       STRING COMMENT 'Item features',
       cate_id                        BIGINT COMMENT 'Item leaf category ID',
       cate_name                      STRING COMMENT 'Item leaf category name',
       commodity_id                   BIGINT COMMENT 'Commodity ID',
       commodity_name                 STRING COMMENT 'Commodity name',
       is_virtual                     STRING COMMENT 'Whether it is a virtual item',
       shop_id                        BIGINT COMMENT 'Shop ID',
       shop_nick                      STRING COMMENT 'Shop nick',
       is_deleted                     BIGINT COMMENT 'Whether the category is deleted'
   )
   COMMENT 'Item basic information dimension table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365;
   -- Insert data into dim_item_info table
   INSERT OVERWRITE TABLE dim_item_info PARTITION(pt='${bizdate}')
   SELECT
       gmt_create,
       gmt_modified,
       item_id,
       title,
       sub_title,
       pict_url,
       desc_path,
       item_status,
       last_online_time,
       last_offline_time,
       duration,
       cast(reserve_price as DOUBLE),
       cast(secure_trade_ordinary_post_fee as DOUBLE),
       cast(secure_trade_fast_post_fee as DOUBLE),
       cast(secure_trade_ems_post_fee as DOUBLE),
       last_online_quantity,
       features,
       cate_id,
       cate_name,
       commodity_id,
       commodity_name,
       is_virtual,
       shop_id,
       shop_nick,
       is_deleted
   FROM ods_item_info
   WHERE pt = '${bizdate}';

3. Configure os parâmetros de depuração.

   No lado direito da página de edição do nó MaxCompute SQL, clique em Run Configuration:

   • Configure o parâmetro Project Directory. Selecione o recurso de computação do MaxCompute associado durante Create and associate a MaxCompute compute resource e sua cota de computação correspondente.

   • Configure o parâmetro de grupo de recursos. Selecione o grupo de recursos serverless adquirido durante Create a resource group and associate it with a workspace.

4. Na barra de ferramentas do nó, clique em Save para salvar o nó.

Com base na tabela ods_trade_order, este nó realiza limpeza inicial, transformação e processamento de lógica de negócios nos dados detalhados de transações de pedidos, gerando a tabela de fatos de detalhes de pedidos dwd_trade_order.

1. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó dwd_trade_order e clique em Open Node.

2. Cole o seguinte código na página de edição do nó.

   CREATE TABLE IF NOT EXISTS dwd_trade_order (
       id               BIGINT COMMENT 'Primary key, latest ID after deduplication',
       gmt_create       DATETIME COMMENT 'Creation time',
       gmt_modified     DATETIME COMMENT 'Modification time',
       sub_order_id     BIGINT COMMENT 'Sub-order ID',
       parent_order_id  BIGINT COMMENT 'Parent order ID',
       buyer_id         BIGINT COMMENT 'Buyer numeric ID',
       buyer_nick       STRING COMMENT 'Buyer nickname, null values handled',
       item_id          BIGINT COMMENT 'Item numeric ID',
       item_price       DECIMAL(38,18) COMMENT 'Item price, in cents',
       buy_amount       BIGINT COMMENT 'Purchase quantity',
       biz_type         BIGINT COMMENT 'Transaction type',
       memo             STRING COMMENT 'Memo, null values handled',
       pay_status       BIGINT COMMENT 'Payment status',
       logistics_status BIGINT COMMENT 'Logistics status',
       status           BIGINT COMMENT 'Status',
       seller_memo      STRING COMMENT 'Seller memo for the transaction',
       buyer_memo       STRING COMMENT 'Buyer memo for the transaction',
       clean_ip         STRING COMMENT 'Cleaned buyer IP, invalid formats filtered',
       end_time         DATETIME COMMENT 'Transaction end time',
       pay_time         DATETIME COMMENT 'Payment time',
       is_sub           BIGINT COMMENT 'Whether it is a sub-order, 1 indicates sub-order',
       is_parent        BIGINT COMMENT 'Whether it is a parent order, 1 indicates parent order',
       shop_id          BIGINT COMMENT 'Shop ID',
       total_fee        DECIMAL(38,18) COMMENT 'Sub-order fee after discounts and adjustments',
       is_large_order_flag BOOLEAN COMMENT 'Large order flag'
   )
   COMMENT 'Trade order detail fact table with preliminary cleansing and business logic processing'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365; -- Data lifecycle set to 365 days
   INSERT OVERWRITE TABLE dwd_trade_order PARTITION(pt='${bizdate}')
   SELECT
       MAX(id) AS id, -- Use the latest ID as the deduplication criterion
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       COALESCE(buyer_nick, '') AS buyer_nick, -- Handle null buyer_nick
       item_id,
       item_price,
       buy_amount,
       biz_type,
       COALESCE(memo, '') AS memo, -- Handle null memo
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       CASE 
           WHEN ip LIKE '__.__.__.__' THEN NULL -- Filter invalid IP formats
           ELSE ip 
       END AS clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       CASE 
           WHEN total_fee >= 10000 THEN TRUE -- Orders over 10000 cents are considered large orders
           ELSE FALSE 
       END AS is_large_order_flag -- Add business logic flag
   FROM (
       SELECT
           *,
           ROW_NUMBER() OVER(PARTITION BY buyer_id, item_id, gmt_create ORDER BY id DESC) AS rn -- Row number for deduplication
       FROM ods_trade_order
       WHERE pt = '${bizdate}'
   ) AS sub_query
   WHERE rn = 1 -- Keep only the first record in each deduplication group
   GROUP BY 
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       buyer_nick,
       item_id,
       item_price,
       buy_amount,
       biz_type,
       memo,
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       is_large_order_flag;

3. Configure os parâmetros de depuração.

   No lado direito da página de edição do nó MaxCompute SQL, clique em Run Configuration:

   • Configure o parâmetro Computing Resources. Selecione o recurso de computação do MaxCompute associado durante Create and associate a MaxCompute compute resource e sua cota de computação correspondente.

   • Configure o parâmetro de grupo de recursos. Selecione o grupo de recursos serverless adquirido durante Create a resource group and associate it with a workspace.

4. Na barra de ferramentas do nó, clique em Save para salvar o nó.

Com base nas tabelas dwd_trade_order e dim_item_info, este nó agrega os dados detalhados limpos e padronizados da camada DWD e produz a tabela agregada de vendas diárias por categoria de product dws_daily_category_sales.

1. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó dws_daily_category_sales e clique em Open Node.

2. Cole o seguinte código na página de edição do nó.

   CREATE TABLE IF NOT EXISTS dws_daily_category_sales (
       cate_id             BIGINT COMMENT 'Item leaf category ID',
       cate_name           STRING COMMENT 'Item leaf category name',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total sales amount by item category, in cents',
       order_count         BIGINT COMMENT 'Order count'
   )
   COMMENT 'Daily item category sales summary table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365;
   INSERT OVERWRITE TABLE dws_daily_category_sales PARTITION(pt='${bizdate}')
   SELECT
       i.cate_id,
       i.cate_name,
       SUM(t.total_fee) AS total_sales_amount,
       COUNT(DISTINCT t.id) AS order_count
   FROM dwd_trade_order t
   JOIN dim_item_info i ON t.item_id = i.item_id AND t.pt = i.pt
   WHERE t.pt = '${bizdate}'
   GROUP BY t.pt, i.cate_id, i.cate_name;

3. Configure os parâmetros de depuração.

   No lado direito da página de edição do nó MaxCompute SQL, clique em Run Configuration:

   • Configure o parâmetro Computing Resources. Selecione o recurso de computação do MaxCompute associado durante Create and associate a MaxCompute compute resource e sua cota de computação correspondente.

   • Configure o parâmetro de grupo de recursos. Selecione o grupo de recursos serverless adquirido durante Create a resource group and associate it with a workspace.

4. Na barra de ferramentas do nó, clique em Save para salvar o nó.

Com base na tabela dws_daily_category_sales, este nó gera a tabela de ranking diário das categorias de product mais vendidas ads_top_selling_categories.

1. Na página de orquestração do fluxo de trabalho, passe o mouse sobre o nó ads_top_selling_categories e clique em Open Node.

2. Cole o seguinte código na página de edição do nó.

   CREATE TABLE IF NOT EXISTS ads_top_selling_categories (
       rank                BIGINT COMMENT 'Sales rank',
       cate_id             BIGINT COMMENT 'Item leaf category ID',
       cate_name           STRING COMMENT 'Item leaf category name',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total sales amount by item category, in cents',
       order_count         BIGINT COMMENT 'Order count'
   )
   COMMENT 'Daily top-selling item category ranking table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd');
   INSERT OVERWRITE TABLE ads_top_selling_categories PARTITION(pt='${bizdate}')
   SELECT
       rank,
       cate_id,
       cate_name,
       total_sales_amount,
       order_count
   FROM (
       SELECT
           DENSE_RANK() OVER(ORDER BY total_sales_amount DESC) AS rank,
           cate_id,
           cate_name,
           total_sales_amount,
           order_count
       FROM (
           SELECT
               cate_id,
               cate_name,
               SUM(total_sales_amount) AS total_sales_amount,
               SUM(order_count) AS order_count
           FROM dws_daily_category_sales
           WHERE pt = '${bizdate}'
           GROUP BY cate_id, cate_name
       ) agg_sub
   ) agg_outer
   WHERE rank <= 10;

3. Configure os parâmetros de depuração.

   No lado direito da página de edição do nó MaxCompute SQL, clique em Run Configuration:

   • Configure o parâmetro Computing Resources. Selecione o recurso de computação do MaxCompute associado durante Create and associate a MaxCompute compute resource e sua cota de computação correspondente.

   • Configure o parâmetro de grupo de recursos. Selecione o grupo de recursos serverless adquirido durante Create a resource group and associate it with a workspace.

4. Na barra de ferramentas do nó, clique em Save para salvar o nó.