DataWorks:Tutorial: Análise de categorias de produtos

1. Na tela de fluxo de trabalho, passe o mouse sobre o nó workshop e clique em Scheduling Cycle.

2. No lado direito do editor do nó workshop, clique em Scheduling e configure os parâmetros. A tabela a seguir descreve os parâmetros principais para este tutorial. Mantenha os valores padrão para quaisquer outros parâmetros.

   Parâmetro de agendamento	Descrição
   Scheduling Type	Para este tutorial, defina como Dry-run.
   Resource Group	Para este tutorial, selecione o grupo de recursos serverless criado em Criar um grupo de recursos e vinculá-lo a um workspace.
   Node Dependency Configuration	Como workshop é o nó inicial e não tem dependências upstream, clique em Open Node para que o fluxo seja acionado pelo nó raiz do workspace. O nó raiz do workspace segue o formato de nome WorkspaceName_root.

3. Clique em Save na barra de ferramentas do nó para salvá-lo.

1. Na tela de fluxo de trabalho, passe o mouse sobre o nó ods_item_info e clique em Open Node.

2. Configure a Fonte de Dados e o Grupo de Recursos.

   Parâmetro	Descrição
   Source	Fonte de Dados: MySQL_Source.
   Destination	Fonte de Dados: Selecione o recurso de computação MaxCompute vinculado em Criar e vincular um recurso de computação MaxCompute. Este exemplo usa MaxCompute_Source.
   Use Workspace Root Node	Selecione o grupo de recursos serverless adquirido em Criar um grupo de recursos e vinculá-lo a um workspace.

3. Configure as definições de sincronização.

   1. Configure the Data Source and destination

      Nota

      Mantenha os valores padrão para os parâmetros não mencionados na tabela.

      Área de configuração	Parâmetro	Descrição
      Data Source	Table	item_info.
      Data Destination	Table	Clique em Generate Destination Table Schema para criar rapidamente uma tabela MaxCompute. Cole a seguinte instrução na área Table Creation Statement e clique em Create Table. Esta tabela receberá as informações de produtos da fonte de dados. SQL de Criação de Tabela CREATE TABLE IF NOT EXISTS ods_item_info( `id` BIGINT COMMENT '', `cate_id` BIGINT COMMENT '', `cate_name` STRING COMMENT '', `commodity_id` BIGINT COMMENT '', `commodity_name` STRING COMMENT '', `desc_path` STRING COMMENT '', `duration` BIGINT COMMENT '', `features` STRING COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `is_deleted` BIGINT COMMENT '', `is_virtual` STRING COMMENT '', `item_id` BIGINT COMMENT '', `item_status` BIGINT COMMENT '', `last_offline_time` DATETIME COMMENT '', `last_online_quantity` BIGINT COMMENT '', `last_online_time` DATETIME COMMENT '', `pict_url` STRING COMMENT '', `reserve_price` DECIMAL(38,18) COMMENT '', `secure_trade_ems_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_fast_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_ordinary_post_fee` DECIMAL(38,18) COMMENT '', `shop_id` BIGINT COMMENT '', `shop_nick` STRING COMMENT '', `sub_title` STRING COMMENT '', `title` STRING COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Para este tutorial, insira ${bizdate}. Esta variável usa um valor constante para testes e um valor dinâmico para execuções agendadas. Para mais informações sobre formatos de variáveis e configuração no DataStudio, consulte Parâmetros de agendamento.

   2. Confirme o Field Mapping e o Channel Control.

      O DataWorks mapeia os campos de origem para seus campos de destino correspondentes. Também é possível definir configurações como concorrência de tarefas e Política de Dados Sujos no painel Channel Control à direita. Para este tutorial, defina a Policy for Dirty Data Records como Disallow Dirty Data Records e mantenha as outras configurações nos padrões. Para mais informações, consulte Configurar um nó de sincronização em lote no modo assistente.

4. Clique em Save na barra de ferramentas do nó para salvá-lo.

1. Na tela de fluxo de trabalho, passe o mouse sobre o nó ods_trade_order e clique em Open Node.

2. Configure a Fonte de Dados e o Grupo de Recursos.

   Parâmetro	Descrição
   Source	Fonte de Dados: MySQL_Source.
   Destination	Fonte de Dados: Selecione o recurso de computação MaxCompute vinculado em Criar e vincular um recurso de computação MaxCompute. Este exemplo usa MaxCompute_Source.
   Resource Group	Selecione o grupo de recursos serverless adquirido em Criar um grupo de recursos e vinculá-lo a um workspace.

3. Clique em Next para configurar a tarefa de sincronização.

   1. Configure the Data Source and destination

      Nota

      Mantenha os valores padrão para os parâmetros não mencionados na tabela.

      Área de configuração	Parâmetro	Descrição
      Data Source	Table	trade_order
      Resource Group	Table	Clique em Generate Destination Table Schema para criar rapidamente uma tabela MaxCompute. Cole a seguinte instrução na área Table Creation Statement e clique em Create Table. Esta tabela receberá as informações de produtos da fonte de dados. SQL de Criação de Tabela CREATE TABLE IF NOT EXISTS ods_trade_order( `id` BIGINT COMMENT '', `biz_type` BIGINT COMMENT '', `buy_amount` BIGINT COMMENT '', `buyer_id` BIGINT COMMENT '', `buyer_memo` STRING COMMENT '', `buyer_nick` STRING COMMENT '', `end_time` DATETIME COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `ip` STRING COMMENT '', `is_parent` BIGINT COMMENT '', `is_sub` BIGINT COMMENT '', `item_id` BIGINT COMMENT '', `item_price` DECIMAL(38,18) COMMENT '', `logistics_status` BIGINT COMMENT '', `memo` STRING COMMENT '', `parent_order_id` BIGINT COMMENT '', `pay_status` BIGINT COMMENT '', `pay_time` DATETIME COMMENT '', `seller_memo` STRING COMMENT '', `shop_id` BIGINT COMMENT '', `status` BIGINT COMMENT '', `sub_order_id` BIGINT COMMENT '', `total_fee` DECIMAL(38,18) COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Data Destination	Para este tutorial, insira ${bizdate}. Esta variável usa um valor constante para testes e um valor dinâmico para execuções agendadas. Para mais informações sobre formatos de variáveis e configuração no DataStudio, consulte Parâmetros de agendamento.

   2. Confirme o Field Mapping e o Channel Control.

      O DataWorks mapeia os campos de origem para seus campos de destino correspondentes. Também é possível definir configurações como concorrência de tarefas e Política de Dados Sujos no painel Channel Control à direita. Para este tutorial, defina a Policy for Dirty Data Records como Disallow Dirty Data Records e mantenha as outras configurações nos padrões. Para mais informações, consulte Configurar um nó de sincronização em lote no modo assistente.

4. Clique em Partition Information na barra de ferramentas do nó para salvá-lo.

Este nó processa dados de dimensão de produtos da tabela ods_item_info para produzir a tabela de dimensão de informações de produtos, dim_item_info.

1. Na tela de fluxo de trabalho, passe o mouse sobre o nó dim_item_info e clique em Open Node.

2. Cole o seguinte código no editor do nó.

   CREATE TABLE IF NOT EXISTS dim_item_info (
       gmt_modified                   STRING COMMENT 'Product last modified date',
       gmt_create                     STRING COMMENT 'Product creation time',
       item_id                        BIGINT COMMENT 'Product numeric ID',
       title                          STRING COMMENT 'Product title',
       sub_title                      STRING COMMENT 'Product subtitle',
       pict_url                       STRING COMMENT 'URL of the main picture',
       desc_path                      STRING COMMENT 'Path of the product description',
       item_status                    BIGINT COMMENT 'Product status: 1 = approved, 0 = not approved',
       last_online_time               DATETIME COMMENT 'Most recent time the product went on sale',
       last_offline_time              DATETIME COMMENT 'End time of the sale, marks the end of a sales cycle (auction items only)',
       duration                       BIGINT COMMENT 'Validity period or sales cycle (either 7 or 14 days)',
       reserve_price                  DOUBLE COMMENT 'Current price',
       secure_trade_ordinary_post_fee DOUBLE COMMENT 'Standard mail fee',
       secure_trade_fast_post_fee     DOUBLE COMMENT 'Express delivery fee',
       secure_trade_ems_post_fee      DOUBLE COMMENT 'EMS mail fee',
       last_online_quantity           BIGINT COMMENT 'Stock quantity when the product was last listed',
       features                       STRING COMMENT 'Product features',
       cate_id                        BIGINT COMMENT 'ID of the product leaf category',
       cate_name                      STRING COMMENT 'Name of the product leaf category',
       commodity_id                   BIGINT COMMENT 'Product category ID',
       commodity_name                 STRING COMMENT 'Product category name',
       is_virtual                     STRING COMMENT 'Indicates if the product is virtual',
       shop_id                        BIGINT COMMENT 'Shop ID',
       shop_nick                      STRING COMMENT 'Shop nickname',
       is_deleted                     BIGINT COMMENT 'Indicates if the category is deleted'
   )
   COMMENT 'Product information dimension table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365;
   
   -- Insert data into the dim_item_info table
   INSERT OVERWRITE TABLE dim_item_info PARTITION(pt='${bizdate}')
   SELECT
       gmt_create,
       gmt_modified,
       item_id,
       title,
       sub_title,
       pict_url,
       desc_path,
       item_status,
       last_online_time,
       last_offline_time,
       duration,
       cast(reserve_price as DOUBLE),
       cast(secure_trade_ordinary_post_fee as DOUBLE),
       cast(secure_trade_fast_post_fee as DOUBLE),
       cast(secure_trade_ems_post_fee as DOUBLE),
       last_online_quantity,
       features,
       cate_id,
       cate_name,
       commodity_id,
       commodity_name,
       is_virtual,
       shop_id,
       shop_nick,
       is_deleted
   FROM ods_item_info
   WHERE pt = '${bizdate}';

3. Configure os parâmetros de execução.

   No lado direito do editor do nó MaxCompute SQL, clique em Running Configurations:

   • Configure o parâmetro Computing Resource selecionando o recurso de computação MaxCompute e sua cota de computação correspondente vinculados em Criar e vincular um recurso de computação MaxCompute.

   • Configure o parâmetro Resource Group selecionando o grupo de recursos serverless adquirido em Criar um grupo de recursos e vinculá-lo a um workspace.

4. Clique em Save na barra de ferramentas do nó para salvá-lo.

Este nó realiza limpeza inicial, transformação e processamento de lógica de negócios nos dados detalhados de transações da tabela ods_trade_order para produzir a tabela fato de detalhes de transações, dwd_trade_order.

1. Na tela de fluxo de trabalho, passe o mouse sobre o nó dwd_trade_order e clique em Open Node.

2. Cole o seguinte código no editor do nó.

   CREATE TABLE IF NOT EXISTS dwd_trade_order (
       id               BIGINT COMMENT 'Primary key: latest ID after deduplication',
       gmt_create       DATETIME COMMENT 'Creation time',
       gmt_modified     DATETIME COMMENT 'Modification time',
       sub_order_id     BIGINT COMMENT 'Sub-order ID',
       parent_order_id  BIGINT COMMENT 'Parent order ID',
       buyer_id         BIGINT COMMENT 'Buyer numeric ID',
       buyer_nick       STRING COMMENT 'Buyer nickname (empty string if null)',
       item_id          BIGINT COMMENT 'Product numeric ID',
       item_price       DECIMAL(38,18) COMMENT 'Product price, in cents',
       buy_amount       BIGINT COMMENT 'Purchase quantity',
       biz_type         BIGINT COMMENT 'Transaction type',
       memo             STRING COMMENT 'Memo (empty string if null)',
       pay_status       BIGINT COMMENT 'Payment status',
       logistics_status BIGINT COMMENT 'Logistics status',
       status           BIGINT COMMENT 'Status',
       seller_memo      STRING COMMENT 'Seller memo for the transaction',
       buyer_memo       STRING COMMENT 'Buyer memo for the transaction',
       clean_ip         STRING COMMENT 'Cleaned buyer IP; filters invalid formats',
       end_time         DATETIME COMMENT 'Transaction end time',
       pay_time         DATETIME COMMENT 'Payment time',
       is_sub           BIGINT COMMENT 'Indicates if it is a sub-order (1 for yes)',
       is_parent        BIGINT COMMENT 'Indicates if it is a parent order (1 for yes)',
       shop_id          BIGINT COMMENT 'Shop ID',
       total_fee        DECIMAL(38,18) COMMENT 'Sub-order fee after discounts and adjustments',
       is_large_order_flag BOOLEAN COMMENT 'Flag indicating if it is a large-value order'
   )
   COMMENT 'Transaction detail fact table, including initial cleaning and business logic'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365; -- Data lifecycle set to 365 days
   
   INSERT OVERWRITE TABLE dwd_trade_order PARTITION(pt='${bizdate}')
   SELECT
       id,
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       COALESCE(buyer_nick, '') AS buyer_nick, -- Handle null buyer_nick
       item_id,
       item_price,
       buy_amount,
       biz_type,
       COALESCE(memo, '') AS memo, -- Handle null memo
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       CASE 
           WHEN ip LIKE '__.__.__.__' THEN NULL -- Filter invalid IP formats
           ELSE ip 
       END AS clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       CASE 
           WHEN total_fee >= 10000 THEN TRUE -- Assume an order over 10,000 cents is a large-value order
           ELSE FALSE 
       END AS is_large_order_flag -- Add business logic flag
   FROM (
       SELECT
           *,
           ROW_NUMBER() OVER(PARTITION BY buyer_id, item_id, gmt_create ORDER BY id DESC) AS rn -- Row number for deduplication
       FROM ods_trade_order
       WHERE pt = '${bizdate}'
   ) AS sub_query
   WHERE rn = 1;

3. Configure os parâmetros de execução.

   No lado direito do editor do nó MaxCompute SQL, clique em Running Configurations:

   • Configure o parâmetro Computing Resource selecionando o recurso de computação MaxCompute e sua cota de computação correspondente vinculados em Criar e vincular um recurso de computação MaxCompute.

   • Configure o parâmetro Resource Group selecionando o grupo de recursos serverless adquirido em Criar um grupo de recursos e vinculá-lo a um workspace.

4. Clique em Save na barra de ferramentas do nó para salvá-lo.

Este nó agrega os dados detalhados limpos e padronizados das tabelas dwd_trade_order e dim_item_info para produzir a tabela de resumo diário de vendas por categoria de produto, dws_daily_category_sales.

1. Na tela de fluxo de trabalho, passe o mouse sobre o nó dws_daily_category_sales e clique em Open Node.

2. Cole o seguinte código no editor do nó.

   CREATE TABLE IF NOT EXISTS dws_daily_category_sales (
       cate_id             BIGINT COMMENT 'ID of the product leaf category',
       cate_name           STRING COMMENT 'Name of the product leaf category',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total category sales amount, in cents',
       order_count         BIGINT COMMENT 'Order count'
   )
   COMMENT 'Daily product category sales summary table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365;
   
   INSERT OVERWRITE TABLE dws_daily_category_sales PARTITION(pt='${bizdate}')
   SELECT
       i.cate_id,
       i.cate_name,
       SUM(t.total_fee) AS total_sales_amount,
       COUNT(DISTINCT t.id) AS order_count
   FROM dwd_trade_order t
   JOIN dim_item_info i ON t.item_id = i.item_id AND t.pt = i.pt
   WHERE t.pt = '${bizdate}'
   GROUP BY t.pt, i.cate_id, i.cate_name;

3. Configure os parâmetros de execução.

   No lado direito do editor do nó MaxCompute SQL, clique em Running Configurations:

   • Configure o parâmetro Computing Resource selecionando o recurso de computação MaxCompute e sua cota de computação correspondente vinculados em Criar e vincular um recurso de computação MaxCompute.

   • Configure o parâmetro Resource Group selecionando o grupo de recursos serverless adquirido em Criar um grupo de recursos e vinculá-lo a um workspace.

4. Clique em Save na barra de ferramentas do nó para salvá-lo.

Este nó gera a tabela de ranking diário das categorias de produtos mais vendidas, ads_top_selling_categories, com base na tabela dws_daily_category_sales.

1. Na tela de fluxo de trabalho, passe o mouse sobre o nó ads_top_selling_categories e clique em Open Node.

2. Cole o seguinte código no editor do nó.

   CREATE TABLE IF NOT EXISTS ads_top_selling_categories (
       rank                BIGINT COMMENT 'Sales rank',
       cate_id             BIGINT COMMENT 'ID of the product leaf category',
       cate_name           STRING COMMENT 'Name of the product leaf category',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total sales amount for the product category, in cents',
       order_count         BIGINT COMMENT 'Number of orders'
   )
   COMMENT 'Daily ranking table of the best-selling product categories'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd');
   
   INSERT OVERWRITE TABLE ads_top_selling_categories PARTITION(pt='${bizdate}')
   SELECT
       rank,
       cate_id,
       cate_name,
       total_sales_amount,
       order_count
   FROM (
       SELECT
           DENSE_RANK() OVER(ORDER BY total_sales_amount DESC) AS rank,
           cate_id,
           cate_name,
           total_sales_amount,
           order_count
       FROM (
           SELECT
               cate_id,
               cate_name,
               SUM(total_sales_amount) AS total_sales_amount,
               SUM(order_count) AS order_count
           FROM dws_daily_category_sales
           WHERE pt = '${bizdate}'
           GROUP BY cate_id, cate_name
       ) agg_sub
   ) agg_outer
   WHERE rank <= 10;

3. Configure os parâmetros de execução.

   No lado direito do editor do nó MaxCompute SQL, clique em Running Configurations:

   • Configure o parâmetro Computing Resource selecionando o recurso de computação MaxCompute e sua cota de computação correspondente vinculados em Criar e vincular um recurso de computação MaxCompute.

   • Configure o parâmetro Resource Group selecionando o grupo de recursos serverless adquirido em Criar um grupo de recursos e vinculá-lo a um workspace.

4. Clique em Save na barra de ferramentas do nó para salvá-lo.