DataWorks：Lanjutan: Analisis kategori produk terlaris

1. Pada kanvas alur kerja, arahkan kursor ke node workshop dan klik Open Node.

2. Di sisi kanan editor node workshop, klik Scheduling dan konfigurasikan parameter. Tabel berikut menjelaskan parameter utama untuk tutorial ini. Anda dapat mempertahankan nilai default untuk parameter lainnya.

   Parameter penjadwalan	Deskripsi
   Scheduling Type	Untuk tutorial ini, atur menjadi Dry-run.
   Resource Group	Untuk tutorial ini, pilih kelompok sumber daya arsitektur tanpa server yang dibuat di Buat kelompok sumber daya dan ikat ke ruang kerja.
   Node Dependency Configuration	Karena workshop adalah node awal dan tidak memiliki dependensi hulu, Anda dapat mengklik Use Workspace Root Node agar alur kerja dipicu oleh node root ruang kerja. Node root ruang kerja diberi nama dalam format WorkspaceName_root.

3. Klik Save di bilah alat node untuk menyimpan node.

1. Pada kanvas alur kerja, arahkan kursor ke node ods_item_info dan klik Open Node.

2. Konfigurasikan Data Source dan Resource Group.

   Parameter	Deskripsi
   Source	Data Source: MySQL_Source.
   Destination	Data Source: Pilih resource komputasi MaxCompute yang diikat di Buat dan ikat resource komputasi MaxCompute. Contoh ini menggunakan MaxCompute_Source.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat kelompok sumber daya dan ikat ke ruang kerja.

3. Konfigurasikan pengaturan sinkronisasi.

   1. Configure the Data Source and destination

      Catatan

      Anda dapat mempertahankan nilai default untuk parameter yang tidak disebutkan dalam tabel.

      Area konfigurasi	Parameter	Deskripsi
      Data Source	Table	item_info.
      Data Destination	Table	Klik Generate Destination Table Schema untuk membuat tabel MaxCompute dengan cepat. Tempel pernyataan berikut ke area Table Creation Statement lalu klik Create Table. Tabel ini menerima informasi produk dari sumber data. Table Creation SQL CREATE TABLE IF NOT EXISTS ods_item_info( `id` BIGINT COMMENT '', `cate_id` BIGINT COMMENT '', `cate_name` STRING COMMENT '', `commodity_id` BIGINT COMMENT '', `commodity_name` STRING COMMENT '', `desc_path` STRING COMMENT '', `duration` BIGINT COMMENT '', `features` STRING COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `is_deleted` BIGINT COMMENT '', `is_virtual` STRING COMMENT '', `item_id` BIGINT COMMENT '', `item_status` BIGINT COMMENT '', `last_offline_time` DATETIME COMMENT '', `last_online_quantity` BIGINT COMMENT '', `last_online_time` DATETIME COMMENT '', `pict_url` STRING COMMENT '', `reserve_price` DECIMAL(38,18) COMMENT '', `secure_trade_ems_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_fast_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_ordinary_post_fee` DECIMAL(38,18) COMMENT '', `shop_id` BIGINT COMMENT '', `shop_nick` STRING COMMENT '', `sub_title` STRING COMMENT '', `title` STRING COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Untuk tutorial ini, masukkan ${bizdate}. Variabel ini menggunakan nilai konstan untuk pengujian dan nilai dinamis untuk eksekusi terjadwal. Untuk informasi selengkapnya tentang format variabel dan konfigurasi di DataStudio, lihat Parameter penjadwalan.

   2. Konfirmasi Field Mapping dan Channel Control.

      DataWorks memetakan field sumber ke field tujuan yang sesuai. Anda juga dapat mengonfigurasi pengaturan seperti konkurensi tugas dan Kebijakan Data Kotor di panel Channel Control di sebelah kanan. Untuk tutorial ini, atur Policy for Dirty Data Records menjadi Disallow Dirty Data Records dan pertahankan pengaturan lainnya pada nilai default. Untuk informasi selengkapnya, lihat Konfigurasikan node sinkronisasi batch dalam mode wizard.

4. Klik Save di bilah alat node untuk menyimpan node.

1. Pada kanvas alur kerja, arahkan kursor ke node ods_trade_order dan klik Open Node.

2. Konfigurasikan Data Source dan Resource Group.

   Parameter	Deskripsi
   Source	Data Source: MySQL_Source.
   Destination	Data Source: Pilih resource komputasi MaxCompute yang diikat di Buat dan ikat resource komputasi MaxCompute. Contoh ini menggunakan MaxCompute_Source.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat kelompok sumber daya dan ikat ke ruang kerja.

3. Klik Next untuk mengonfigurasi tugas sinkronisasi.

   1. Configure the Data Source and destination

      Catatan

      Anda dapat mempertahankan nilai default untuk parameter yang tidak disebutkan dalam tabel.

      Area konfigurasi	Parameter	Deskripsi
      Data Source	Table	trade_order
      Data Destination	Table	Klik Generate Destination Table Schema untuk membuat tabel MaxCompute dengan cepat. Tempel pernyataan berikut ke area Table Creation Statement lalu klik Create Table. Tabel ini menerima informasi produk dari sumber data. Table Creation SQL CREATE TABLE IF NOT EXISTS ods_trade_order( `id` BIGINT COMMENT '', `biz_type` BIGINT COMMENT '', `buy_amount` BIGINT COMMENT '', `buyer_id` BIGINT COMMENT '', `buyer_memo` STRING COMMENT '', `buyer_nick` STRING COMMENT '', `end_time` DATETIME COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `ip` STRING COMMENT '', `is_parent` BIGINT COMMENT '', `is_sub` BIGINT COMMENT '', `item_id` BIGINT COMMENT '', `item_price` DECIMAL(38,18) COMMENT '', `logistics_status` BIGINT COMMENT '', `memo` STRING COMMENT '', `parent_order_id` BIGINT COMMENT '', `pay_status` BIGINT COMMENT '', `pay_time` DATETIME COMMENT '', `seller_memo` STRING COMMENT '', `shop_id` BIGINT COMMENT '', `status` BIGINT COMMENT '', `sub_order_id` BIGINT COMMENT '', `total_fee` DECIMAL(38,18) COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Untuk tutorial ini, masukkan ${bizdate}. Variabel ini menggunakan nilai konstan untuk pengujian dan nilai dinamis untuk eksekusi terjadwal. Untuk informasi selengkapnya tentang format variabel dan konfigurasi di DataStudio, lihat Parameter penjadwalan.

   2. Konfirmasi Field Mapping dan Channel Control.

      DataWorks memetakan field sumber ke field tujuan yang sesuai. Anda juga dapat mengonfigurasi pengaturan seperti konkurensi tugas dan Kebijakan Data Kotor di panel Channel Control di sebelah kanan. Untuk tutorial ini, atur Policy for Dirty Data Records menjadi Disallow Dirty Data Records dan pertahankan pengaturan lainnya pada nilai default. Untuk informasi selengkapnya, lihat Konfigurasikan node sinkronisasi batch dalam mode wizard.

4. Klik Save di bilah alat node untuk menyimpan node.

Node ini memproses data dimensi produk dari tabel ods_item_info untuk menghasilkan tabel dimensi informasi produk, dim_item_info.

1. Pada kanvas alur kerja, arahkan kursor ke node dim_item_info dan klik Open Node.

2. Tempel kode berikut ke editor node.

   CREATE TABLE IF NOT EXISTS dim_item_info (
       gmt_modified                   STRING COMMENT 'Tanggal terakhir produk dimodifikasi',
       gmt_create                     STRING COMMENT 'Waktu pembuatan produk',
       item_id                        BIGINT COMMENT 'ID numerik produk',
       title                          STRING COMMENT 'Judul produk',
       sub_title                      STRING COMMENT 'Subjudul produk',
       pict_url                       STRING COMMENT 'URL gambar utama',
       desc_path                      STRING COMMENT 'Path deskripsi produk',
       item_status                    BIGINT COMMENT 'Status produk: 1 = disetujui, 0 = tidak disetujui',
       last_online_time               DATETIME COMMENT 'Waktu terakhir produk dijual',
       last_offline_time              DATETIME COMMENT 'Waktu akhir penjualan, menandai akhir siklus penjualan (hanya untuk barang lelang)',
       duration                       BIGINT COMMENT 'Masa berlaku atau siklus penjualan (7 atau 14 hari)',
       reserve_price                  DOUBLE COMMENT 'Harga saat ini',
       secure_trade_ordinary_post_fee DOUBLE COMMENT 'Biaya pos standar',
       secure_trade_fast_post_fee     DOUBLE COMMENT 'Biaya pengiriman ekspres',
       secure_trade_ems_post_fee      DOUBLE COMMENT 'Biaya pos EMS',
       last_online_quantity           BIGINT COMMENT 'Jumlah stok saat produk terakhir dicantumkan',
       features                       STRING COMMENT 'Fitur produk',
       cate_id                        BIGINT COMMENT 'ID kategori daun produk',
       cate_name                      STRING COMMENT 'Nama kategori daun produk',
       commodity_id                   BIGINT COMMENT 'ID kategori produk',
       commodity_name                 STRING COMMENT 'Nama kategori produk',
       is_virtual                     STRING COMMENT 'Menunjukkan apakah produk virtual',
       shop_id                        BIGINT COMMENT 'ID toko',
       shop_nick                      STRING COMMENT 'Nama panggilan toko',
       is_deleted                     BIGINT COMMENT 'Menunjukkan apakah kategori dihapus'
   )
   COMMENT 'Tabel dimensi informasi produk'
   PARTITIONED BY (pt STRING COMMENT 'Tanggal bisnis, yyyymmdd')
   LIFECYCLE 365;
   
   
   -- Masukkan data ke tabel dim_item_info
   INSERT OVERWRITE TABLE dim_item_info PARTITION(pt='${bizdate}')
   SELECT
       gmt_create,
       gmt_modified,
       item_id,
       title,
       sub_title,
       pict_url,
       desc_path,
       item_status,
       last_online_time,
       last_offline_time,
       duration,
       cast(reserve_price as DOUBLE),
       cast(secure_trade_ordinary_post_fee as DOUBLE),
       cast(secure_trade_fast_post_fee as DOUBLE),
       cast(secure_trade_ems_post_fee as DOUBLE),
       last_online_quantity,
       features,
       cate_id,
       cate_name,
       commodity_id,
       commodity_name,
       is_virtual,
       shop_id,
       shop_nick,
       is_deleted
   FROM ods_item_info
   WHERE pt = '${bizdate}';

3. Konfigurasikan parameter waktu proses.

   Di sisi kanan editor node SQL MaxCompute, klik Running Configurations:

   • Konfigurasikan parameter Computing Resource dengan memilih sumber daya komputasi MaxCompute dan kuota komputasi terkait yang telah Anda tautkan di Buat dan tautkan sumber daya komputasi MaxCompute.

   • Konfigurasikan parameter Resource Group dengan memilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat kelompok sumber daya dan ikat ke ruang kerja.

4. Klik Save di bilah alat node untuk menyimpan node.

Node ini melakukan pembersihan awal, transformasi, dan pemrosesan logika bisnis pada data transaksi detail dari tabel ods_trade_order untuk menghasilkan tabel fakta detail transaksi, dwd_trade_order.

1. Pada kanvas alur kerja, arahkan kursor ke node dwd_trade_order dan klik Open Node.

2. Tempel kode berikut ke editor node.

   CREATE TABLE IF NOT EXISTS dwd_trade_order (
       id               BIGINT COMMENT 'Kunci primer: ID terbaru setelah deduplikasi',
       gmt_create       DATETIME COMMENT 'Waktu pembuatan',
       gmt_modified     DATETIME COMMENT 'Waktu modifikasi',
       sub_order_id     BIGINT COMMENT 'ID sub-pesanan',
       parent_order_id  BIGINT COMMENT 'ID pesanan induk',
       buyer_id         BIGINT COMMENT 'ID numerik pembeli',
       buyer_nick       STRING COMMENT 'Nama panggilan pembeli (string kosong jika null)',
       item_id          BIGINT COMMENT 'ID numerik produk',
       item_price       DECIMAL(38,18) COMMENT 'Harga produk, dalam sen',
       buy_amount       BIGINT COMMENT 'Jumlah pembelian',
       biz_type         BIGINT COMMENT 'Tipe transaksi',
       memo             STRING COMMENT 'Memo (string kosong jika null)',
       pay_status       BIGINT COMMENT 'Status pembayaran',
       logistics_status BIGINT COMMENT 'Status logistik',
       status           BIGINT COMMENT 'Status',
       seller_memo      STRING COMMENT 'Memo penjual untuk transaksi',
       buyer_memo       STRING COMMENT 'Memo pembeli untuk transaksi',
       clean_ip         STRING COMMENT 'IP pembeli yang telah dibersihkan; filter format tidak valid',
       end_time         DATETIME COMMENT 'Waktu akhir transaksi',
       pay_time         DATETIME COMMENT 'Waktu pembayaran',
       is_sub           BIGINT COMMENT 'Menunjukkan apakah sub-pesanan (1 untuk ya)',
       is_parent        BIGINT COMMENT 'Menunjukkan apakah pesanan induk (1 untuk ya)',
       shop_id          BIGINT COMMENT 'ID toko',
       total_fee        DECIMAL(38,18) COMMENT 'Biaya sub-pesanan setelah diskon dan penyesuaian',
       is_large_order_flag BOOLEAN COMMENT 'Flag yang menunjukkan apakah pesanan bernilai besar'
   )
   COMMENT 'Tabel fakta detail transaksi, termasuk pembersihan awal dan logika bisnis'
   PARTITIONED BY (pt STRING COMMENT 'Tanggal bisnis, yyyymmdd')
   LIFECYCLE 365; -- Siklus hidup data diatur menjadi 365 hari
   
   
   INSERT OVERWRITE TABLE dwd_trade_order PARTITION(pt='${bizdate}')
   SELECT
       id,
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       COALESCE(buyer_nick, '') AS buyer_nick, -- Tangani buyer_nick null
       item_id,
       item_price,
       buy_amount,
       biz_type,
       COALESCE(memo, '') AS memo, -- Tangani memo null
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       CASE 
           WHEN ip LIKE '__.__.__.__' THEN NULL -- Filter format IP tidak valid
           ELSE ip 
       END AS clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       CASE 
           WHEN total_fee >= 10000 THEN TRUE -- Anggap pesanan di atas 10.000 sen sebagai pesanan bernilai besar
           ELSE FALSE 
       END AS is_large_order_flag -- Tambahkan flag logika bisnis
   FROM (
       SELECT
           *,
           ROW_NUMBER() OVER(PARTITION BY buyer_id, item_id, gmt_create ORDER BY id DESC) AS rn -- Nomor baris untuk deduplikasi
       FROM ods_trade_order
       WHERE pt = '${bizdate}'
   ) AS sub_query
   WHERE rn = 1;

3. Konfigurasikan parameter waktu proses.

   Di sisi kanan editor node SQL MaxCompute, klik Running Configurations:

   • Konfigurasikan parameter Computing Resource dengan memilih resource komputasi MaxCompute dan kuota komputasi yang sesuai yang telah Anda ikat di Buat dan ikat resource komputasi MaxCompute.

   • Konfigurasikan parameter Resource Group dengan memilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat kelompok sumber daya dan ikat ke ruang kerja.

4. Klik Save di bilah alat node untuk menyimpan node.

Node ini mengagregasi data detail yang telah dibersihkan dan distandarisasi dari tabel dwd_trade_order dan dim_item_info untuk menghasilkan tabel ringkasan penjualan kategori produk harian, dws_daily_category_sales.

1. Pada kanvas alur kerja, arahkan kursor ke node dws_daily_category_sales dan klik Open Node.

2. Tempel kode berikut ke editor node.

   CREATE TABLE IF NOT EXISTS dws_daily_category_sales (
       cate_id             BIGINT COMMENT 'ID kategori daun produk',
       cate_name           STRING COMMENT 'Nama kategori daun produk',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total jumlah penjualan kategori, dalam sen',
       order_count         BIGINT COMMENT 'Jumlah pesanan'
   )
   COMMENT 'Tabel ringkasan penjualan kategori produk harian'
   PARTITIONED BY (pt STRING COMMENT 'Tanggal bisnis, yyyymmdd')
   LIFECYCLE 365;
   
   
   INSERT OVERWRITE TABLE dws_daily_category_sales PARTITION(pt='${bizdate}')
   SELECT
       i.cate_id,
       i.cate_name,
       SUM(t.total_fee) AS total_sales_amount,
       COUNT(DISTINCT t.id) AS order_count
   FROM dwd_trade_order t
   JOIN dim_item_info i ON t.item_id = i.item_id AND t.pt = i.pt
   WHERE t.pt = '${bizdate}'
   GROUP BY t.pt, i.cate_id, i.cate_name;

3. Konfigurasikan parameter waktu proses.

   Di sisi kanan editor node SQL MaxCompute, klik Running Configurations:

   • Konfigurasikan parameter Computing Resource dengan memilih resource komputasi MaxCompute dan kuota komputasi yang sesuai yang telah Anda ikat di Buat dan ikat resource komputasi MaxCompute.

   • Konfigurasikan parameter Resource Group dengan memilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat kelompok sumber daya dan ikat ke ruang kerja.

4. Klik Save di bilah alat node untuk menyimpan node.

Node ini menghasilkan tabel peringkat harian kategori produk terlaris, ads_top_selling_categories, berdasarkan tabel dws_daily_category_sales.

1. Pada kanvas alur kerja, arahkan kursor ke node ads_top_selling_categories dan klik Open Node.

2. Tempel kode berikut ke editor node.

   CREATE TABLE IF NOT EXISTS ads_top_selling_categories (
       rank                BIGINT COMMENT 'Peringkat penjualan',
       cate_id             BIGINT COMMENT 'ID kategori daun produk',
       cate_name           STRING COMMENT 'Nama kategori daun produk',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total jumlah penjualan untuk kategori produk, dalam sen',
       order_count         BIGINT COMMENT 'Jumlah pesanan'
   )
   COMMENT 'Tabel peringkat harian kategori produk terlaris'
   PARTITIONED BY (pt STRING COMMENT 'Tanggal bisnis, yyyymmdd');
   
   
   INSERT OVERWRITE TABLE ads_top_selling_categories PARTITION(pt='${bizdate}')
   SELECT
       rank,
       cate_id,
       cate_name,
       total_sales_amount,
       order_count
   FROM (
       SELECT
           DENSE_RANK() OVER(ORDER BY total_sales_amount DESC) AS rank,
           cate_id,
           cate_name,
           total_sales_amount,
           order_count
       FROM (
           SELECT
               cate_id,
               cate_name,
               SUM(total_sales_amount) AS total_sales_amount,
               SUM(order_count) AS order_count
           FROM dws_daily_category_sales
           WHERE pt = '${bizdate}'
           GROUP BY cate_id, cate_name
       ) agg_sub
   ) agg_outer
   WHERE rank <= 10;

3. Konfigurasikan parameter waktu proses.

   Di sisi kanan editor node SQL MaxCompute, klik Running Configurations:

   • Konfigurasikan parameter Computing Resource dengan memilih resource komputasi MaxCompute dan kuota komputasi yang sesuai yang telah Anda ikat di Buat dan ikat resource komputasi MaxCompute.

   • Konfigurasikan parameter Resource Group dengan memilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat kelompok sumber daya dan ikat ke ruang kerja.

4. Klik Save di bilah alat node untuk menyimpan node.