DataWorks:Tingkat Lanjut: Analisis kategori produk terlaris

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node workshop lalu klik Open Node.

2. Di sisi kanan halaman pengeditan node workshop, klik Scheduling Settings dan konfigurasikan parameter yang relevan. Berikut adalah parameter utama untuk tutorial ini. Pertahankan nilai default untuk parameter yang tidak dijelaskan.

   Parameter pengaturan penjadwalan	Deskripsi
   Scheduling Type	Dalam tutorial ini, atur parameter ini ke Dry Run.
   Resource Group for Scheduling	Dalam tutorial ini, pilih kelompok sumber daya arsitektur tanpa server yang dibuat di Buat kelompok sumber daya dan asosiasikan dengan ruang kerja.
   Node dependency configuration	Karena workshop adalah node awal dan tidak memiliki dependensi hulu, Anda dapat mengklik Add Root Node untuk memicu alur kerja dari node root ruang kerja. Node root ruang kerja diberi nama: workspace_name_root.

3. Di bilah alat node, klik Save untuk menyimpan node.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node ods_item_info lalu klik Open Node.

2. Konfigurasikan sumber data dan kelompok sumber daya.

   Parameter	Deskripsi
   Source	Sumber data: MySQL_Source.
   Destination	Sumber data: Pilih sumber daya komputasi MaxCompute yang diasosiasikan selama Buat dan asosiasikan sumber daya komputasi MaxCompute. Dalam contoh ini, pilih MaxCompute_Source.
   Running Resources	Pilih kelompok sumber daya arsitektur tanpa server yang dibeli selama Buat kelompok sumber daya dan asosiasikan dengan ruang kerja.

3. Konfigurasikan solusi sinkronisasi.

   1. Configure Source and Destination

      Catatan

      Pertahankan nilai default untuk parameter yang tidak dijelaskan dalam tabel.

      Bagian konfigurasi	Parameter	Deskripsi konfigurasi
      Data Source	Table	item_info.
      Destination	Table	Klik Generate Destination Table Schema untuk membuat tabel MaxCompute dengan cepat. Tempel pernyataan DDL berikut ke bagian Table Creation Statement, lalu klik Create Table. Tabel ini digunakan untuk menerima informasi produk dari sumber. Pernyataan DDL CREATE TABLE IF NOT EXISTS ods_item_info( `id` BIGINT COMMENT '', `cate_id` BIGINT COMMENT '', `cate_name` STRING COMMENT '', `commodity_id` BIGINT COMMENT '', `commodity_name` STRING COMMENT '', `desc_path` STRING COMMENT '', `duration` BIGINT COMMENT '', `features` STRING COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `is_deleted` BIGINT COMMENT '', `is_virtual` STRING COMMENT '', `item_id` BIGINT COMMENT '', `item_status` BIGINT COMMENT '', `last_offline_time` DATETIME COMMENT '', `last_online_quantity` BIGINT COMMENT '', `last_online_time` DATETIME COMMENT '', `pict_url` STRING COMMENT '', `reserve_price` DECIMAL(38,18) COMMENT '', `secure_trade_ems_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_fast_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_ordinary_post_fee` DECIMAL(38,18) COMMENT '', `shop_id` BIGINT COMMENT '', `shop_nick` STRING COMMENT '', `sub_title` STRING COMMENT '', `title` STRING COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Dalam tutorial ini, masukkan ${bizdate}. Selama debugging, nilai konstan diberikan ke parameter bizdate untuk pengujian. Selama eksekusi terjadwal, nilai dinamis diberikan ke parameter bizdate. Untuk informasi lebih lanjut tentang format variabel dan metode konfigurasi yang didukung oleh Data Studio, lihat Konfigurasikan variabel.

   2. Verifikasi Destination Field Mapping dan Advanced Settings.

      DataWorks memetakan kolom sumber ke kolom tujuan untuk menulis data dari kolom sumber yang ditentukan ke kolom tujuan yang ditentukan. Anda juga dapat mengonfigurasi konkurensi tugas, kebijakan data kotor, dan pengaturan lainnya di bagian Advanced Settings di sisi kanan. Dalam tutorial ini, atur Policy for Dirty Data Records ke Disallow Dirty Data Records dan pertahankan default untuk pengaturan lainnya. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas sinkronisasi batch tabel tunggal.

4. Di bilah alat node, klik Save untuk menyimpan node.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node ods_trade_order lalu klik Open Node.

2. Konfigurasikan sumber data dan kelompok sumber daya.

   Parameter	Deskripsi
   Source	Sumber data: MySQL_Source.
   Destination	Sumber data: Pilih sumber daya komputasi MaxCompute yang diasosiasikan selama Buat dan asosiasikan sumber daya komputasi MaxCompute. Dalam contoh ini, pilih MaxCompute_Source.
   Running Resources	Pilih kelompok sumber daya arsitektur tanpa server yang dibeli selama Buat kelompok sumber daya dan asosiasikan dengan ruang kerja.

3. Klik Next step lalu konfigurasikan tugas sinkronisasi.

   1. Configure Source and Destination

      Catatan

      Pertahankan nilai default untuk parameter yang tidak dijelaskan dalam tabel.

      Bagian konfigurasi	Parameter	Deskripsi konfigurasi
      Data Source	Table	trade_order
      Destination	Table	Klik Generate Destination Table Schema untuk membuat tabel MaxCompute dengan cepat. Tempel pernyataan DDL berikut ke bagian Table Creation Statement, lalu klik Create Table. Tabel ini digunakan untuk menerima informasi produk dari sumber. Pernyataan DDL CREATE TABLE IF NOT EXISTS ods_trade_order( `id` BIGINT COMMENT '', `biz_type` BIGINT COMMENT '', `buy_amount` BIGINT COMMENT '', `buyer_id` BIGINT COMMENT '', `buyer_memo` STRING COMMENT '', `buyer_nick` STRING COMMENT '', `end_time` DATETIME COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `ip` STRING COMMENT '', `is_parent` BIGINT COMMENT '', `is_sub` BIGINT COMMENT '', `item_id` BIGINT COMMENT '', `item_price` DECIMAL(38,18) COMMENT '', `logistics_status` BIGINT COMMENT '', `memo` STRING COMMENT '', `parent_order_id` BIGINT COMMENT '', `pay_status` BIGINT COMMENT '', `pay_time` DATETIME COMMENT '', `seller_memo` STRING COMMENT '', `shop_id` BIGINT COMMENT '', `status` BIGINT COMMENT '', `sub_order_id` BIGINT COMMENT '', `total_fee` DECIMAL(38,18) COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Dalam tutorial ini, masukkan ${bizdate}. Selama debugging, nilai konstan diberikan ke parameter bizdate untuk pengujian. Selama eksekusi terjadwal, nilai dinamis diberikan ke parameter bizdate. Untuk informasi lebih lanjut tentang format variabel dan metode konfigurasi yang didukung oleh Data Studio, lihat Konfigurasikan variabel.

   2. Verifikasi Destination Field Mapping dan Advanced Settings.

      DataWorks memetakan kolom sumber ke kolom tujuan untuk menulis data dari kolom sumber yang ditentukan ke kolom tujuan yang ditentukan. Anda juga dapat mengonfigurasi konkurensi tugas, kebijakan data kotor, dan pengaturan lainnya di bagian Advanced Settings di sisi kanan. Dalam tutorial ini, atur Policy for Dirty Data Records ke Disallow Dirty Data Records dan pertahankan default untuk pengaturan lainnya. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas sinkronisasi batch tabel tunggal.

4. Di bilah alat node, klik Save untuk menyimpan node.

Berdasarkan tabel ods_item_info, node ini memproses data dimensi produk dan menghasilkan tabel dimensi informasi dasar produk dim_item_info.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node dim_item_info lalu klik Open Node.

2. Tempel kode berikut ke halaman pengeditan node.

   CREATE TABLE IF NOT EXISTS dim_item_info (
       gmt_modified                   STRING COMMENT 'Item last modified date',
       gmt_create                     STRING COMMENT 'Item creation time',
       item_id                        BIGINT COMMENT 'Item numeric ID',
       title                          STRING COMMENT 'Item title',
       sub_title                      STRING COMMENT 'Item subtitle',
       pict_url                       STRING COMMENT 'Main image URL',
       desc_path                      STRING COMMENT 'Item description path',
       item_status                    BIGINT COMMENT 'Item status: 1 - approved, 0 - not approved',
       last_online_time               DATETIME COMMENT 'Last listing time, item go-on-sale time',
       last_offline_time              DATETIME COMMENT 'Sale end time, indicates the end of a sales cycle, only applies to auction items',
       duration                       BIGINT COMMENT 'Validity period, sales cycle, only two values: 7 days or 14 days',
       reserve_price                  DOUBLE COMMENT 'Current price',
       secure_trade_ordinary_post_fee DOUBLE COMMENT 'Standard mail shipping fee',
       secure_trade_fast_post_fee     DOUBLE COMMENT 'Express shipping fee',
       secure_trade_ems_post_fee      DOUBLE COMMENT 'EMS shipping fee',
       last_online_quantity           BIGINT COMMENT 'Stock quantity at the last listing time',
       features                       STRING COMMENT 'Item features',
       cate_id                        BIGINT COMMENT 'Item leaf category ID',
       cate_name                      STRING COMMENT 'Item leaf category name',
       commodity_id                   BIGINT COMMENT 'Commodity ID',
       commodity_name                 STRING COMMENT 'Commodity name',
       is_virtual                     STRING COMMENT 'Whether it is a virtual item',
       shop_id                        BIGINT COMMENT 'Shop ID',
       shop_nick                      STRING COMMENT 'Shop nick',
       is_deleted                     BIGINT COMMENT 'Whether the category is deleted'
   )
   COMMENT 'Item basic information dimension table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365;
   -- Insert data into dim_item_info table
   INSERT OVERWRITE TABLE dim_item_info PARTITION(pt='${bizdate}')
   SELECT
       gmt_create,
       gmt_modified,
       item_id,
       title,
       sub_title,
       pict_url,
       desc_path,
       item_status,
       last_online_time,
       last_offline_time,
       duration,
       cast(reserve_price as DOUBLE),
       cast(secure_trade_ordinary_post_fee as DOUBLE),
       cast(secure_trade_fast_post_fee as DOUBLE),
       cast(secure_trade_ems_post_fee as DOUBLE),
       last_online_quantity,
       features,
       cate_id,
       cate_name,
       commodity_id,
       commodity_name,
       is_virtual,
       shop_id,
       shop_nick,
       is_deleted
   FROM ods_item_info
   WHERE pt = '${bizdate}';

3. Konfigurasikan parameter debug.

   Di sisi kanan halaman pengeditan node SQL MaxCompute, klik Run Configuration:

   • Konfigurasikan parameter Computing Resources. Pilih sumber daya komputasi MaxCompute yang diasosiasikan selama Buat dan asosiasikan sumber daya komputasi MaxCompute dan kuota komputasinya yang sesuai.

   • Konfigurasikan parameter kelompok sumber daya. Pilih kelompok sumber daya arsitektur tanpa server yang dibeli selama Buat kelompok sumber daya dan asosiasikan dengan ruang kerja.

4. Di bilah alat node, klik Save untuk menyimpan node.

Berdasarkan tabel ods_trade_order, node ini melakukan pembersihan data awal, transformasi, dan pemrosesan logika bisnis pada data transaksi pesanan terperinci dan menghasilkan tabel fakta detail pesanan dwd_trade_order.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node dwd_trade_order lalu klik Open Node.

2. Tempel kode berikut ke halaman pengeditan node.

   CREATE TABLE IF NOT EXISTS dwd_trade_order (
       id               BIGINT COMMENT 'Primary key, latest ID after deduplication',
       gmt_create       DATETIME COMMENT 'Creation time',
       gmt_modified     DATETIME COMMENT 'Modification time',
       sub_order_id     BIGINT COMMENT 'Sub-order ID',
       parent_order_id  BIGINT COMMENT 'Parent order ID',
       buyer_id         BIGINT COMMENT 'Buyer numeric ID',
       buyer_nick       STRING COMMENT 'Buyer nickname, null values handled',
       item_id          BIGINT COMMENT 'Item numeric ID',
       item_price       DECIMAL(38,18) COMMENT 'Item price, in cents',
       buy_amount       BIGINT COMMENT 'Purchase quantity',
       biz_type         BIGINT COMMENT 'Transaction type',
       memo             STRING COMMENT 'Memo, null values handled',
       pay_status       BIGINT COMMENT 'Payment status',
       logistics_status BIGINT COMMENT 'Logistics status',
       status           BIGINT COMMENT 'Status',
       seller_memo      STRING COMMENT 'Seller memo for the transaction',
       buyer_memo       STRING COMMENT 'Buyer memo for the transaction',
       clean_ip         STRING COMMENT 'Cleaned buyer IP, invalid formats filtered',
       end_time         DATETIME COMMENT 'Transaction end time',
       pay_time         DATETIME COMMENT 'Payment time',
       is_sub           BIGINT COMMENT 'Whether it is a sub-order, 1 indicates sub-order',
       is_parent        BIGINT COMMENT 'Whether it is a parent order, 1 indicates parent order',
       shop_id          BIGINT COMMENT 'Shop ID',
       total_fee        DECIMAL(38,18) COMMENT 'Sub-order fee after discounts and adjustments',
       is_large_order_flag BOOLEAN COMMENT 'Large order flag'
   )
   COMMENT 'Trade order detail fact table with preliminary cleansing and business logic processing'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365; -- Data lifecycle set to 365 days
   INSERT OVERWRITE TABLE dwd_trade_order PARTITION(pt='${bizdate}')
   SELECT
       MAX(id) AS id, -- Use the latest ID as the deduplication criterion
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       COALESCE(buyer_nick, '') AS buyer_nick, -- Handle null buyer_nick
       item_id,
       item_price,
       buy_amount,
       biz_type,
       COALESCE(memo, '') AS memo, -- Handle null memo
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       CASE 
           WHEN ip LIKE '__.__.__.__' THEN NULL -- Filter invalid IP formats
           ELSE ip 
       END AS clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       CASE 
           WHEN total_fee >= 10000 THEN TRUE -- Orders over 10000 cents are considered large orders
           ELSE FALSE 
       END AS is_large_order_flag -- Add business logic flag
   FROM (
       SELECT
           *,
           ROW_NUMBER() OVER(PARTITION BY buyer_id, item_id, gmt_create ORDER BY id DESC) AS rn -- Row number for deduplication
       FROM ods_trade_order
       WHERE pt = '${bizdate}'
   ) AS sub_query
   WHERE rn = 1 -- Keep only the first record in each deduplication group
   GROUP BY 
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       buyer_nick,
       item_id,
       item_price,
       buy_amount,
       biz_type,
       memo,
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       is_large_order_flag;

3. Konfigurasikan parameter debug.

   Di sisi kanan halaman pengeditan node SQL MaxCompute, klik Run Configuration:

   • Konfigurasikan parameter Computing Resources. Pilih sumber daya komputasi MaxCompute yang diasosiasikan selama Buat dan asosiasikan sumber daya komputasi MaxCompute dan kuota komputasinya yang sesuai.

   • Konfigurasikan parameter kelompok sumber daya. Pilih kelompok sumber daya arsitektur tanpa server yang dibeli selama Buat kelompok sumber daya dan asosiasikan dengan ruang kerja.

4. Di bilah alat node, klik Save untuk menyimpan node.

Berdasarkan tabel dwd_trade_order dan tabel dim_item_info, node ini mengagregasi data terperinci yang telah dibersihkan dan distandarisasi dari lapisan DWD dan menghasilkan tabel agregat penjualan kategori produk harian dws_daily_category_sales.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node dws_daily_category_sales lalu klik Open Node.

2. Tempel kode berikut ke halaman pengeditan node.

   CREATE TABLE IF NOT EXISTS dws_daily_category_sales (
       cate_id             BIGINT COMMENT 'Item leaf category ID',
       cate_name           STRING COMMENT 'Item leaf category name',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total sales amount by item category, in cents',
       order_count         BIGINT COMMENT 'Order count'
   )
   COMMENT 'Daily item category sales summary table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd')
   LIFECYCLE 365;
   INSERT OVERWRITE TABLE dws_daily_category_sales PARTITION(pt='${bizdate}')
   SELECT
       i.cate_id,
       i.cate_name,
       SUM(t.total_fee) AS total_sales_amount,
       COUNT(DISTINCT t.id) AS order_count
   FROM dwd_trade_order t
   JOIN dim_item_info i ON t.item_id = i.item_id AND t.pt = i.pt
   WHERE t.pt = '${bizdate}'
   GROUP BY t.pt, i.cate_id, i.cate_name;

3. Konfigurasikan parameter debug.

   Di sisi kanan halaman pengeditan node SQL MaxCompute, klik Run Configuration:

   • Konfigurasikan parameter Computing Resources. Pilih sumber daya komputasi MaxCompute yang diasosiasikan selama Buat dan asosiasikan sumber daya komputasi MaxCompute dan kuota komputasinya yang sesuai.

   • Konfigurasikan parameter kelompok sumber daya. Pilih kelompok sumber daya arsitektur tanpa server yang dibeli selama Buat kelompok sumber daya dan asosiasikan dengan ruang kerja.

4. Di bilah alat node, klik Save untuk menyimpan node.

Berdasarkan tabel dws_daily_category_sales, node ini menghasilkan tabel peringkat harian kategori produk terlaris ads_top_selling_categories.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node ads_top_selling_categories lalu klik Open Node.

2. Tempel kode berikut ke halaman pengeditan node.

   CREATE TABLE IF NOT EXISTS ads_top_selling_categories (
       rank                BIGINT COMMENT 'Sales rank',
       cate_id             BIGINT COMMENT 'Item leaf category ID',
       cate_name           STRING COMMENT 'Item leaf category name',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total sales amount by item category, in cents',
       order_count         BIGINT COMMENT 'Order count'
   )
   COMMENT 'Daily top-selling item category ranking table'
   PARTITIONED BY (pt STRING COMMENT 'Business date, yyyymmdd');
   INSERT OVERWRITE TABLE ads_top_selling_categories PARTITION(pt='${bizdate}')
   SELECT
       rank,
       cate_id,
       cate_name,
       total_sales_amount,
       order_count
   FROM (
       SELECT
           DENSE_RANK() OVER(ORDER BY total_sales_amount DESC) AS rank,
           cate_id,
           cate_name,
           total_sales_amount,
           order_count
       FROM (
           SELECT
               cate_id,
               cate_name,
               SUM(total_sales_amount) AS total_sales_amount,
               SUM(order_count) AS order_count
           FROM dws_daily_category_sales
           WHERE pt = '${bizdate}'
           GROUP BY cate_id, cate_name
       ) agg_sub
   ) agg_outer
   WHERE rank <= 10;

3. Konfigurasikan parameter debug.

   Di sisi kanan halaman pengeditan node SQL MaxCompute, klik Run Configuration:

   • Konfigurasikan parameter Computing Resources. Pilih sumber daya komputasi MaxCompute yang diasosiasikan selama Buat dan asosiasikan sumber daya komputasi MaxCompute dan kuota komputasinya yang sesuai.

   • Konfigurasikan parameter kelompok sumber daya. Pilih kelompok sumber daya arsitektur tanpa server yang dibeli selama Buat kelompok sumber daya dan asosiasikan dengan ruang kerja.

4. Di bilah alat node, klik Save untuk menyimpan node.