DataWorks:Tutoriel : analyse des catégories de produits

1. Sur le canevas du workflow, survolez le nœud workshop et cliquez sur Open Node.

2. À droite de l'éditeur du nœud workshop, cliquez sur Scheduling et configurez les paramètres. Le tableau suivant décrit les paramètres clés pour ce tutoriel. Vous pouvez conserver les valeurs par défaut pour les autres paramètres.

   Scheduling parameter	Description
   Scheduling Type	Pour ce tutoriel, définissez-le sur Dry-run.
   Resource Group	Pour ce tutoriel, sélectionnez le groupe de ressources serverless créé dans la rubrique Créer un groupe de ressources et l'associer à un workspace.
   Node Dependency Configuration	Comme workshop est le nœud initial et ne possède aucune dépendance amont, vous pouvez cliquer sur Use Workspace Root Node pour que le workflow soit déclenché par le nœud racine du workspace. Le nœud racine du workspace est nommé selon le format WorkspaceName_root.

3. Cliquez sur Save dans la barre d'outils du nœud pour enregistrer ce dernier.

1. Sur le canevas du workflow, survolez le nœud ods_item_info et cliquez sur Open Node.

2. Configurez la source de données et le groupe de ressources.

   Parameter	Description
   Source	Source de données : MySQL_Source.
   Destination	Source de données : Sélectionnez la ressource de calcul MaxCompute associée dans la rubrique Créer et associer une ressource de calcul MaxCompute. Cet exemple utilise MaxCompute_Source.
   Resource Group	Sélectionnez le groupe de ressources serverless acheté dans la rubrique Créer un groupe de ressources et l'associer à un workspace.

3. Configurez les paramètres de synchronisation.

   1. Configure the Data Source and destination

      Remarque

      Vous pouvez conserver les valeurs par défaut pour les paramètres non mentionnés dans le tableau.

      Configuration area	Parameter	Description
      Data Source	Table	item_info.
      Data Destination	Table	Cliquez sur Generate Destination Table Schema pour créer rapidement une table MaxCompute. Collez l'instruction suivante dans la zone Table Creation Statement et cliquez sur Create Table. Cette table reçoit les informations produit provenant de la source de données. Table Creation SQL CREATE TABLE IF NOT EXISTS ods_item_info( `id` BIGINT COMMENT '', `cate_id` BIGINT COMMENT '', `cate_name` STRING COMMENT '', `commodity_id` BIGINT COMMENT '', `commodity_name` STRING COMMENT '', `desc_path` STRING COMMENT '', `duration` BIGINT COMMENT '', `features` STRING COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `is_deleted` BIGINT COMMENT '', `is_virtual` STRING COMMENT '', `item_id` BIGINT COMMENT '', `item_status` BIGINT COMMENT '', `last_offline_time` DATETIME COMMENT '', `last_online_quantity` BIGINT COMMENT '', `last_online_time` DATETIME COMMENT '', `pict_url` STRING COMMENT '', `reserve_price` DECIMAL(38,18) COMMENT '', `secure_trade_ems_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_fast_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_ordinary_post_fee` DECIMAL(38,18) COMMENT '', `shop_id` BIGINT COMMENT '', `shop_nick` STRING COMMENT '', `sub_title` STRING COMMENT '', `title` STRING COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Pour ce tutoriel, saisissez ${bizdate}. Cette variable utilise une valeur constante pour les tests et une valeur dynamique pour les exécutions planifiées. Pour plus d'informations sur les formats de variables et leur configuration dans DataStudio, consultez la rubrique Paramètres de planification.

   2. Confirmez les paramètres Field Mapping et Channel Control.

      DataWorks mappe les champs source vers leurs champs de destination correspondants. Vous pouvez également configurer des paramètres tels que la simultanéité des tâches et la stratégie relative aux données erronées dans le panneau Channel Control situé à droite. Pour ce tutoriel, définissez la Policy for Dirty Data Records sur Disallow Dirty Data Records et conservez les autres paramètres par défaut. Pour plus d'informations, consultez la rubrique Configurer un nœud de synchronisation par lots en mode Assistant.

4. Cliquez sur Save dans la barre d'outils du nœud pour enregistrer ce dernier.

1. Sur le canevas du workflow, survolez le nœud ods_trade_order et cliquez sur Open Node.

2. Configurez la source de données et le groupe de ressources.

   Parameter	Description
   Source	Source de données : MySQL_Source.
   Destination	Source de données : Sélectionnez la ressource de calcul MaxCompute associée dans la rubrique Créer et associer une ressource de calcul MaxCompute. Cet exemple utilise MaxCompute_Source.
   Resource Group	Sélectionnez le groupe de ressources serverless acheté dans la rubrique Créer un groupe de ressources et l'associer à un workspace.

3. Cliquez sur Next pour configurer la tâche de synchronisation.

   1. Configure the Data Source and destination

      Remarque

      Vous pouvez conserver les valeurs par défaut pour les paramètres non mentionnés dans le tableau.

      Configuration area	Parameter	Description
      Data Source	Table	trade_order
      Data Destination	Table	Cliquez sur Generate Destination Table Schema pour créer rapidement une table MaxCompute. Collez l'instruction suivante dans la zone Table Creation Statement et cliquez sur Create Table. Cette table reçoit les informations produit provenant de la source de données. Table Creation SQL CREATE TABLE IF NOT EXISTS ods_trade_order( `id` BIGINT COMMENT '', `biz_type` BIGINT COMMENT '', `buy_amount` BIGINT COMMENT '', `buyer_id` BIGINT COMMENT '', `buyer_memo` STRING COMMENT '', `buyer_nick` STRING COMMENT '', `end_time` DATETIME COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `ip` STRING COMMENT '', `is_parent` BIGINT COMMENT '', `is_sub` BIGINT COMMENT '', `item_id` BIGINT COMMENT '', `item_price` DECIMAL(38,18) COMMENT '', `logistics_status` BIGINT COMMENT '', `memo` STRING COMMENT '', `parent_order_id` BIGINT COMMENT '', `pay_status` BIGINT COMMENT '', `pay_time` DATETIME COMMENT '', `seller_memo` STRING COMMENT '', `shop_id` BIGINT COMMENT '', `status` BIGINT COMMENT '', `sub_order_id` BIGINT COMMENT '', `total_fee` DECIMAL(38,18) COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Pour ce tutoriel, saisissez ${bizdate}. Cette variable utilise une valeur constante pour les tests et une valeur dynamique pour les exécutions planifiées. Pour plus d'informations sur les formats de variables et leur configuration dans DataStudio, consultez la rubrique Paramètres de planification.

   2. Confirmez les paramètres Field Mapping et Channel Control.

      DataWorks mappe les champs source vers leurs champs de destination correspondants. Vous pouvez également configurer des paramètres tels que la simultanéité des tâches et la stratégie relative aux données erronées dans le panneau Channel Control situé à droite. Pour ce tutoriel, définissez la Policy for Dirty Data Records sur Disallow Dirty Data Records et conservez les autres paramètres par défaut. Pour plus d'informations, consultez la rubrique Configurer un nœud de synchronisation par lots en mode Assistant.

4. Cliquez sur Save dans la barre d'outils du nœud pour enregistrer ce dernier.

Ce nœud traite les données de dimension produit provenant de la table ods_item_info afin de générer la table de dimension d'informations sur les produits, dim_item_info.

1. Sur le canevas du flux de travail, placez le curseur sur le nœud dim_item_info et cliquez sur Open Node.

2. Collez le code suivant dans l'éditeur de nœud.

   CREATE TABLE IF NOT EXISTS dim_item_info (
       gmt_modified                   STRING COMMENT 'Product last modified date',
       gmt_create                     STRING COMMENT 'Product creation time',
       item_id                        BIGINT COMMENT 'Product numeric ID',
       title                          STRING COMMENT 'Product title',
       sub_title                      STRING COMMENT 'Product subtitle',
       pict_url                       STRING COMMENT 'URL of the main picture',
       desc_path                      STRING COMMENT 'Path of the product description',
       item_status                    BIGINT COMMENT 'Product status: 1 = approved, 0 = not approved',
       last_online_time               DATETIME COMMENT 'Most recent time the product went on sale',
       last_offline_time              DATETIME COMMENT 'End time of the sale, marks the end of a sales cycle (auction items only)',
       duration                       BIGINT COMMENT 'Validity period or sales cycle (either 7 or 14 days)',
       reserve_price                  DOUBLE COMMENT 'Current price',
       secure_trade_ordinary_post_fee DOUBLE COMMENT 'Standard mail fee',
       secure_trade_fast_post_fee     DOUBLE COMMENT 'Express delivery fee',
       secure_trade_ems_post_fee      DOUBLE COMMENT 'EMS mail fee',
       last_online_quantity           BIGINT COMMENT 'Stock quantity when the product was last listed',
       features                       STRING COMMENT 'Product features',
       cate_id                        BIGINT COMMENT 'ID of the product leaf category',
       cate_name                      STRING COMMENT 'Name of the product leaf category',
       commodity_id                   BIGINT COMMENT 'Product category ID',
       commodity_name                 STRING COMMENT 'Product category name',
       is_virtual                     STRING COMMENT 'Indicates if the product is virtual',
       shop_id                        BIGINT COMMENT 'Shop ID',
       shop_nick                      STRING COMMENT 'Shop nickname',
       is_deleted                     BIGINT COMMENT 'Indicates if the category is deleted'
   )
   COMMENT 'Product information dimension table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365;
   
   -- Insert data into the dim_item_info table
   INSERT OVERWRITE TABLE dim_item_info PARTITION(pt='${bizdate}')
   SELECT
       gmt_create,
       gmt_modified,
       item_id,
       title,
       sub_title,
       pict_url,
       desc_path,
       item_status,
       last_online_time,
       last_offline_time,
       duration,
       cast(reserve_price as DOUBLE),
       cast(secure_trade_ordinary_post_fee as DOUBLE),
       cast(secure_trade_fast_post_fee as DOUBLE),
       cast(secure_trade_ems_post_fee as DOUBLE),
       last_online_quantity,
       features,
       cate_id,
       cate_name,
       commodity_id,
       commodity_name,
       is_virtual,
       shop_id,
       shop_nick,
       is_deleted
   FROM ods_item_info
   WHERE pt = '${bizdate}';

3. Configurez les paramètres d'exécution.

   Dans la partie droite de l'éditeur de nœud MaxCompute SQL, cliquez sur Running Configurations :

   • Configurez le paramètre Computing Resource en sélectionnant la ressource de calcul MaxCompute et son quota de calcul associé que vous avez liés lors de l'étape Créer et lier une ressource de calcul MaxCompute.

   • Configurez le paramètre Resource Group en sélectionnant le groupe de ressources serverless acheté lors de l'étape Créer un groupe de ressources et le lier à un espace de travail.

4. Cliquez sur Save dans la barre d'outils du nœud pour enregistrer ce dernier.

Ce nœud effectue un nettoyage initial, une transformation et un traitement de la logique métier sur les données transactionnelles détaillées issues de la table ods_trade_order afin de générer la table de faits des détails des transactions, dwd_trade_order.

1. Sur le canevas du flux de travail, placez le curseur sur le nœud dwd_trade_order et cliquez sur Open Node.

2. Collez le code suivant dans l'éditeur de nœud.

   CREATE TABLE IF NOT EXISTS dwd_trade_order (
       id               BIGINT COMMENT 'Primary key: latest ID after deduplication',
       gmt_create       DATETIME COMMENT 'Creation time',
       gmt_modified     DATETIME COMMENT 'Modification time',
       sub_order_id     BIGINT COMMENT 'Sub-order ID',
       parent_order_id  BIGINT COMMENT 'Parent order ID',
       buyer_id         BIGINT COMMENT 'Buyer numeric ID',
       buyer_nick       STRING COMMENT 'Buyer nickname (empty string if null)',
       item_id          BIGINT COMMENT 'Product numeric ID',
       item_price       DECIMAL(38,18) COMMENT 'Product price, in cents',
       buy_amount       BIGINT COMMENT 'Purchase quantity',
       biz_type         BIGINT COMMENT 'Transaction type',
       memo             STRING COMMENT 'Memo (empty string if null)',
       pay_status       BIGINT COMMENT 'Payment status',
       logistics_status BIGINT COMMENT 'Logistics status',
       status           BIGINT COMMENT 'Status',
       seller_memo      STRING COMMENT 'Seller memo for the transaction',
       buyer_memo       STRING COMMENT 'Buyer memo for the transaction',
       clean_ip         STRING COMMENT 'Cleaned buyer IP; filters invalid formats',
       end_time         DATETIME COMMENT 'Transaction end time',
       pay_time         DATETIME COMMENT 'Payment time',
       is_sub           BIGINT COMMENT 'Indicates if it is a sub-order (1 for yes)',
       is_parent        BIGINT COMMENT 'Indicates if it is a parent order (1 for yes)',
       shop_id          BIGINT COMMENT 'Shop ID',
       total_fee        DECIMAL(38,18) COMMENT 'Sub-order fee after discounts and adjustments',
       is_large_order_flag BOOLEAN COMMENT 'Flag indicating if it is a large-value order'
   )
   COMMENT 'Transaction detail fact table, including initial cleaning and business logic'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365; -- Data lifecycle set to 365 days
   
   INSERT OVERWRITE TABLE dwd_trade_order PARTITION(pt='${bizdate}')
   SELECT
       id,
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       COALESCE(buyer_nick, '') AS buyer_nick, -- Handle null buyer_nick
       item_id,
       item_price,
       buy_amount,
       biz_type,
       COALESCE(memo, '') AS memo, -- Handle null memo
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       CASE 
           WHEN ip LIKE '__.__.__.__' THEN NULL -- Filter invalid IP formats
           ELSE ip 
       END AS clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       CASE 
           WHEN total_fee >= 10000 THEN TRUE -- Assume an order over 10,000 cents is a large-value order
           ELSE FALSE 
       END AS is_large_order_flag -- Add business logic flag
   FROM (
       SELECT
           *,
           ROW_NUMBER() OVER(PARTITION BY buyer_id, item_id, gmt_create ORDER BY id DESC) AS rn -- Row number for deduplication
       FROM ods_trade_order
       WHERE pt = '${bizdate}'
   ) AS sub_query
   WHERE rn = 1;

3. Configurez les paramètres d'exécution.

   Dans la partie droite de l'éditeur de nœud MaxCompute SQL, cliquez sur Running Configurations :

   • Configurez le paramètre Computing Resource en sélectionnant la ressource de calcul MaxCompute et son quota de calcul associé que vous avez liés lors de l'étape Créer et lier une ressource de calcul MaxCompute.

   • Configurez le paramètre Resource Group en sélectionnant le groupe de ressources serverless acheté lors de l'étape Créer un groupe de ressources et le lier à un espace de travail.

4. Cliquez sur Save dans la barre d'outils du nœud pour enregistrer ce dernier.

Ce nœud agrège les données détaillées nettoyées et standardisées des tables dwd_trade_order et dim_item_info afin de produire le récapitulatif quotidien des ventes par catégorie de produits, dws_daily_category_sales.

1. Sur le canevas du flux de travail, placez le curseur sur le nœud dws_daily_category_sales et cliquez sur Open Node.

2. Collez le code suivant dans l'éditeur de nœud.

   CREATE TABLE IF NOT EXISTS dws_daily_category_sales (
       cate_id             BIGINT COMMENT 'ID of the product leaf category',
       cate_name           STRING COMMENT 'Name of the product leaf category',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total category sales amount, in cents',
       order_count         BIGINT COMMENT 'Order count'
   )
   COMMENT 'Daily product category sales summary table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365;
   
   INSERT OVERWRITE TABLE dws_daily_category_sales PARTITION(pt='${bizdate}')
   SELECT
       i.cate_id,
       i.cate_name,
       SUM(t.total_fee) AS total_sales_amount,
       COUNT(DISTINCT t.id) AS order_count
   FROM dwd_trade_order t
   JOIN dim_item_info i ON t.item_id = i.item_id AND t.pt = i.pt
   WHERE t.pt = '${bizdate}'
   GROUP BY t.pt, i.cate_id, i.cate_name;

3. Configurez les paramètres d'exécution.

   Dans la partie droite de l'éditeur de nœud MaxCompute SQL, cliquez sur Running Configurations :

   • Configurez le paramètre Computing Resource en sélectionnant la ressource de calcul MaxCompute et son quota de calcul associé que vous avez liés lors de l'étape Créer et lier une ressource de calcul MaxCompute.

   • Configurez le paramètre Resource Group en sélectionnant le groupe de ressources serverless acheté lors de l'étape Créer un groupe de ressources et le lier à un espace de travail.

4. Cliquez sur Save dans la barre d'outils du nœud pour enregistrer ce dernier.

Ce nœud génère le tableau de classement quotidien des catégories de produits les plus vendues, ads_top_selling_categories, à partir de la table dws_daily_category_sales.

1. Sur le canevas du flux de travail, placez le curseur sur le nœud ads_top_selling_categories et cliquez sur Open Node.

2. Collez le code suivant dans l'éditeur de nœud.

   CREATE TABLE IF NOT EXISTS ads_top_selling_categories (
       rank                BIGINT COMMENT 'Sales rank',
       cate_id             BIGINT COMMENT 'ID of the product leaf category',
       cate_name           STRING COMMENT 'Name of the product leaf category',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total sales amount for the product category, in cents',
       order_count         BIGINT COMMENT 'Number of orders'
   )
   COMMENT 'Daily ranking table of the best-selling product categories'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd');
   
   INSERT OVERWRITE TABLE ads_top_selling_categories PARTITION(pt='${bizdate}')
   SELECT
       rank,
       cate_id,
       cate_name,
       total_sales_amount,
       order_count
   FROM (
       SELECT
           DENSE_RANK() OVER(ORDER BY total_sales_amount DESC) AS rank,
           cate_id,
           cate_name,
           total_sales_amount,
           order_count
       FROM (
           SELECT
               cate_id,
               cate_name,
               SUM(total_sales_amount) AS total_sales_amount,
               SUM(order_count) AS order_count
           FROM dws_daily_category_sales
           WHERE pt = '${bizdate}'
           GROUP BY cate_id, cate_name
       ) agg_sub
   ) agg_outer
   WHERE rank <= 10;

3. Configurez les paramètres d'exécution.

   Dans la partie droite de l'éditeur de nœud MaxCompute SQL, cliquez sur Running Configurations :

   • Configurez le paramètre Computing Resource en sélectionnant la ressource de calcul MaxCompute et son quota de calcul associé que vous avez liés lors de l'étape Créer et lier une ressource de calcul MaxCompute.

   • Configurez le paramètre Resource Group en sélectionnant le groupe de ressources serverless acheté lors de l'étape Créer un groupe de ressources et le lier à un espace de travail.

4. Cliquez sur Save dans la barre d'outils du nœud pour enregistrer ce dernier.