DataWorks：Tingkat Lanjut: Analisis kategori produk terlaris

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node workshop dan klik Open Node.

2. Klik Scheduling di sisi kanan halaman pengeditan node workshop untuk mengonfigurasi parameter yang relevan. Berikut adalah parameter utama yang diperlukan untuk tutorial ini. Gunakan nilai default untuk parameter yang tidak tercantum.

   Parameter	Deskripsi
   Scheduling Type	Dalam tutorial ini, konfigurasikan sebagai Dry-run.
   Resource Group	Dalam tutorial ini, konfigurasikan sebagai kelompok sumber daya arsitektur tanpa server yang dibuat di Buat dan asosiasikan sumber daya.
   Scheduling Dependencies	Karena workshop adalah node awal dan tidak memiliki dependensi hulu, Anda dapat mengklik Use Workspace Root Node untuk memicu eksekusi alur kerja oleh node root ruang kerja. Format penamaan untuk node root ruang kerja adalah: WorkspaceName_root.

3. Klik Save di bilah alat node untuk menyimpan node tersebut.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node ods_item_info dan klik Open Node.

2. Konfigurasikan jaringan dan sumber daya pipa sinkronisasi.

   Parameter	Deskripsi
   Scheduling Type	Sumber data: MySQL. Nama sumber data: MySQL_Source.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat dan asosiasikan sumber daya.
   Scheduling Dependencies	Tujuan data: MaxCompute(ODPS). Nama sumber data: Pilih sumber daya komputasi MaxCompute yang diasosiasikan di Asosiasikan sumber daya MaxCompute. Dalam contoh ini, yaitu MaxCompute_Source.

3. Klik Next untuk mengonfigurasi tugas sinkronisasi.

   1. Konfigurasikan sumber dan tujuan data

      Catatan

      Gunakan nilai default untuk parameter yang tidak tercantum.

      Area	Parameter	Deskripsi
      Source	Table	item_info.
      Destination	Table	Klik Generate Destination Table Schema untuk membuat tabel MaxCompute dengan cepat. Tempel pernyataan pembuatan tabel berikut ke area Table Creation Statement lalu klik Create Table. Tabel ini digunakan untuk menerima informasi produk dari sumber data. SQL Pembuatan Tabel CREATE TABLE IF NOT EXISTS ods_item_info( `id` BIGINT COMMENT '', `cate_id` BIGINT COMMENT '', `cate_name` STRING COMMENT '', `commodity_id` BIGINT COMMENT '', `commodity_name` STRING COMMENT '', `desc_path` STRING COMMENT '', `duration` BIGINT COMMENT '', `features` STRING COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `is_deleted` BIGINT COMMENT '', `is_virtual` STRING COMMENT '', `item_id` BIGINT COMMENT '', `item_status` BIGINT COMMENT '', `last_offline_time` DATETIME COMMENT '', `last_online_quantity` BIGINT COMMENT '', `last_online_time` DATETIME COMMENT '', `pict_url` STRING COMMENT '', `reserve_price` DECIMAL(38,18) COMMENT '', `secure_trade_ems_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_fast_post_fee` DECIMAL(38,18) COMMENT '', `secure_trade_ordinary_post_fee` DECIMAL(38,18) COMMENT '', `shop_id` BIGINT COMMENT '', `shop_nick` STRING COMMENT '', `sub_title` STRING COMMENT '', `title` STRING COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Dalam tutorial ini, masukkan ${bizdate}, yang digunakan untuk memberikan nilai konstan ke parameter bizdate selama fase pengujian berikutnya dan memberikan nilai secara dinamis ke parameter bizdate selama eksekusi terjadwal. Untuk informasi selengkapnya tentang format variabel dan metode konfigurasi yang didukung oleh DataStudio, lihat Parameter penjadwalan.

   2. Konfirmasi Field Mapping dan Channel Control.

      DataWorks memungkinkan Anda mengonfigurasi hubungan pemetaan bidang antara sumber dan tujuan untuk menulis data dari bidang sumber tertentu ke bidang tujuan tertentu. Ini juga mendukung pengaturan seperti konkurensi tugas dan kebijakan data kotor. Dalam tutorial ini, konfigurasikan Policy for Dirty Data Records ke Disallow Dirty Data Records, dan pertahankan pengaturan lainnya sebagai default. Untuk informasi selengkapnya, lihat Konfigurasikan tugas di antarmuka tanpa kode.

4. Klik Save di bilah alat node untuk menyimpan node tersebut.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node ods_trade_order dan klik Open Node.

2. Konfigurasikan jaringan dan sumber daya pipa sinkronisasi.

   Parameter	Deskripsi
   Scheduling Type	Sumber data: MySQL. Nama sumber data: MySQL_Source.
   Resource Group	Pilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat dan asosiasikan sumber daya.
   Scheduling Dependencies	Tujuan data: MaxCompute(ODPS). Nama sumber data: Pilih sumber daya komputasi MaxCompute yang diasosiasikan di Asosiasikan sumber daya MaxCompute. Dalam contoh ini, yaitu MaxCompute_Source.

3. Klik Next untuk mengonfigurasi tugas sinkronisasi.

   1. Konfigurasikan sumber dan tujuan data

      Catatan

      Gunakan nilai default untuk parameter yang tidak tercantum.

      Area	Parameter	Deskripsi
      Source	Table	trade_order
      Destination	Table	Klik Generate Destination Table Schema untuk membuat tabel MaxCompute dengan cepat. Tempel pernyataan pembuatan tabel berikut ke area Table Creation Statement lalu klik Create Table. Tabel ini digunakan untuk menerima informasi produk dari sumber data. SQL Pembuatan Tabel CREATE TABLE IF NOT EXISTS ods_trade_order( `id` BIGINT COMMENT '', `biz_type` BIGINT COMMENT '', `buy_amount` BIGINT COMMENT '', `buyer_id` BIGINT COMMENT '', `buyer_memo` STRING COMMENT '', `buyer_nick` STRING COMMENT '', `end_time` DATETIME COMMENT '', `gmt_create` DATETIME COMMENT '', `gmt_modified` DATETIME COMMENT '', `ip` STRING COMMENT '', `is_parent` BIGINT COMMENT '', `is_sub` BIGINT COMMENT '', `item_id` BIGINT COMMENT '', `item_price` DECIMAL(38,18) COMMENT '', `logistics_status` BIGINT COMMENT '', `memo` STRING COMMENT '', `parent_order_id` BIGINT COMMENT '', `pay_status` BIGINT COMMENT '', `pay_time` DATETIME COMMENT '', `seller_memo` STRING COMMENT '', `shop_id` BIGINT COMMENT '', `status` BIGINT COMMENT '', `sub_order_id` BIGINT COMMENT '', `total_fee` DECIMAL(38,18) COMMENT '' ) COMMENT '' PARTITIONED BY (pt STRING) lifecycle 36500;
      	Partition Information	Dalam tutorial ini, masukkan ${bizdate}, yang digunakan untuk memberikan nilai konstan ke parameter bizdate selama fase pengujian berikutnya dan memberikan nilai secara dinamis ke parameter bizdate selama eksekusi terjadwal. Untuk informasi selengkapnya tentang format variabel dan metode konfigurasi yang didukung oleh DataStudio, lihat Parameter penjadwalan.

   2. Konfirmasi Field Mapping dan Channel Control.

      DataWorks memungkinkan Anda mengonfigurasi hubungan pemetaan bidang antara sumber dan tujuan untuk menulis data dari bidang sumber tertentu ke bidang tujuan tertentu. Ini juga mendukung pengaturan seperti konkurensi tugas dan kebijakan data kotor. Dalam tutorial ini, konfigurasikan Policy for Dirty Data Records ke Disallow Dirty Data Records, dan pertahankan pengaturan lainnya sebagai default. Untuk informasi selengkapnya, lihat Konfigurasikan tugas di antarmuka tanpa kode.

4. Klik Save di bilah alat node untuk menyimpan node tersebut.

Memproses data dimensi produk berdasarkan tabel ods_item_info untuk menghasilkan tabel dimensi informasi dasar produk dim_item_info.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node dim_item_info dan klik Open Node.

2. Tempel kode berikut ke halaman pengeditan node.

   CREATE TABLE IF NOT EXISTS dim_item_info (
       gmt_modified                   STRING COMMENT 'Tanggal terakhir produk dimodifikasi',
       gmt_create                     STRING COMMENT 'Waktu pembuatan produk',
       item_id                        BIGINT COMMENT 'ID numerik produk',
       title                          STRING COMMENT 'Judul produk',
       sub_title                      STRING COMMENT 'Subjudul produk',
       pict_url                       STRING COMMENT 'URL gambar utama',
       desc_path                      STRING COMMENT 'Path deskripsi produk',
       item_status                    BIGINT COMMENT 'Status produk 1: Dikonfirmasi 0: Belum dikonfirmasi',
       last_online_time               DATETIME COMMENT 'Terakhir kali penjualan dimulai, waktu pencantuman produk',
       last_offline_time              DATETIME COMMENT 'Waktu akhir penjualan, menunjukkan akhir siklus penjualan, hanya untuk barang lelang',
       duration                       BIGINT COMMENT 'Masa berlaku, siklus penjualan, hanya dua nilai, 7 hari atau 14 hari',
       reserve_price                  DOUBLE COMMENT 'Harga saat ini',
       secure_trade_ordinary_post_fee DOUBLE COMMENT 'Biaya pos standar',
       secure_trade_fast_post_fee     DOUBLE COMMENT 'Biaya pos ekspres',
       secure_trade_ems_post_fee      DOUBLE COMMENT 'Biaya pos EMS',
       last_online_quantity           BIGINT COMMENT 'Jumlah stok saat produk terakhir dicantumkan',
       features                       STRING COMMENT 'Fitur produk',
       cate_id                        BIGINT COMMENT 'ID kategori daun produk',
       cate_name                      STRING COMMENT 'Nama kategori daun produk',
       commodity_id                   BIGINT COMMENT 'ID kategori',
       commodity_name                 STRING COMMENT 'Nama kategori',
       is_virtual                     STRING COMMENT 'Apakah produk virtual',
       shop_id                        BIGINT COMMENT 'ID toko',
       shop_nick                      STRING COMMENT 'NICK toko',
       is_deleted                     BIGINT COMMENT 'Apakah kategori dihapus'
   )
   COMMENT 'Tabel dimensi informasi dasar produk'
   PARTITIONED BY (pt STRING COMMENT 'Timestamp data, yyyymmdd')
   LIFECYCLE 365;
   
   
   -- Masukkan data ke tabel dim_item_info
   INSERT OVERWRITE TABLE dim_item_info PARTITION(pt='${bizdate}')
   SELECT
       gmt_create,
       gmt_modified,
       item_id,
       title,
       sub_title,
       pict_url,
       desc_path,
       item_status,
       last_online_time,
       last_offline_time,
       duration,
       cast(reserve_price as DOUBLE),
       cast(secure_trade_ordinary_post_fee as DOUBLE),
       cast(secure_trade_fast_post_fee as DOUBLE),
       cast(secure_trade_ems_post_fee as DOUBLE),
       last_online_quantity,
       features,
       cate_id,
       cate_name,
       commodity_id,
       commodity_name,
       is_virtual,
       shop_id,
       shop_nick,
       is_deleted
   FROM ods_item_info
   WHERE pt = '${bizdate}';

3. Konfigurasikan parameter debugging.

   Klik Running Configurations di sisi kanan halaman pengeditan node MaxCompute SQL:

   • Konfigurasikan parameter Computing Resource dengan memilih sumber daya komputasi MaxCompute yang diikat di Asosiasikan sumber daya MaxCompute dan kuota komputasinya yang sesuai.

   • Konfigurasikan parameter kelompok sumber daya dengan memilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat dan asosiasikan sumber daya.

4. Klik Save di bilah alat node untuk menyimpan node tersebut.

Menjalankan pembersihan awal, transformasi, dan pemrosesan logika bisnis pada data transaksi pesanan detail berdasarkan tabel ods_trade_order untuk menghasilkan tabel fakta detail transaksi pesanan dwd_trade_order.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node dwd_trade_order dan klik Open Node.

2. Tempel kode berikut ke halaman pengeditan node.

   CREATE TABLE IF NOT EXISTS dwd_trade_order (
       id               BIGINT COMMENT 'Kunci primer, ID terbaru setelah deduplikasi',
       gmt_create       DATETIME COMMENT 'Waktu pembuatan',
       gmt_modified     DATETIME COMMENT 'Waktu modifikasi',
       sub_order_id     BIGINT COMMENT 'ID sub-pesanan',
       parent_order_id  BIGINT COMMENT 'ID pesanan induk',
       buyer_id         BIGINT COMMENT 'ID numerik pembeli',
       buyer_nick       STRING COMMENT 'Nama panggilan pembeli, menangani nilai null',
       item_id          BIGINT COMMENT 'ID numerik produk',
       item_price       DECIMAL(38,18) COMMENT 'Harga produk, dalam sen',
       buy_amount       BIGINT COMMENT 'Jumlah pembelian',
       biz_type         BIGINT COMMENT 'Tipe transaksi',
       memo             STRING COMMENT 'Memo, menangani nilai null',
       pay_status       BIGINT COMMENT 'Status pembayaran',
       logistics_status BIGINT COMMENT 'Status logistik',
       status           BIGINT COMMENT 'Status',
       seller_memo      STRING COMMENT 'Memo penjual untuk transaksi',
       buyer_memo       STRING COMMENT 'Memo pembeli untuk transaksi',
       clean_ip         STRING COMMENT 'IP pembeli yang telah dibersihkan, memfilter format tidak valid',
       end_time         DATETIME COMMENT 'Waktu akhir transaksi',
       pay_time         DATETIME COMMENT 'Waktu pembayaran',
       is_sub           BIGINT COMMENT 'Apakah sub-pesanan, 1 menunjukkan sub-pesanan',
       is_parent        BIGINT COMMENT 'Apakah pesanan induk, 1 menunjukkan pesanan induk',
       shop_id          BIGINT COMMENT 'ID toko',
       total_fee        DECIMAL(38,18) COMMENT 'Biaya sub-pesanan setelah diskon dan penyesuaian',
       is_large_order_flag BOOLEAN COMMENT 'Flag untuk pesanan besar'
   )
   COMMENT 'Tabel fakta detail transaksi pesanan, mencakup pembersihan awal dan pemrosesan logika bisnis'
   PARTITIONED BY (pt STRING COMMENT 'Timestamp data, yyyymmdd')
   LIFECYCLE 365; -- Masa hidup data diatur menjadi 365 hari
   
   
   INSERT OVERWRITE TABLE dwd_trade_order PARTITION(pt='${bizdate}')
   SELECT
       MAX(id) AS id, -- Asumsikan menggunakan ID terbaru sebagai standar deduplikasi
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       COALESCE(buyer_nick, '') AS buyer_nick, -- Tangani buyer_nick null
       item_id,
       item_price,
       buy_amount,
       biz_type,
       COALESCE(memo, '') AS memo, -- Tangani memo null
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       CASE 
           WHEN ip LIKE '__.__.__.__' THEN NULL -- Filter format IP tidak valid
           ELSE ip 
       END AS clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       CASE 
           WHEN total_fee >= 10000 THEN TRUE -- Asumsikan pesanan di atas 10000 sen adalah pesanan besar
           ELSE FALSE 
       END AS is_large_order_flag -- Tambahkan flag logika bisnis
   FROM (
       SELECT
           *,
           ROW_NUMBER() OVER(PARTITION BY buyer_id, item_id, gmt_create ORDER BY id DESC) AS rn -- Nomor baris untuk deduplikasi
       FROM ods_trade_order
       WHERE pt = '${bizdate}'
   ) AS sub_query
   WHERE rn = 1 -- Simpan hanya catatan pertama dari setiap grup deduplikasi
   GROUP BY 
       gmt_create,
       gmt_modified,
       sub_order_id,
       parent_order_id,
       buyer_id,
       buyer_nick,
       item_id,
       item_price,
       buy_amount,
       biz_type,
       memo,
       pay_status,
       logistics_status,
       status,
       seller_memo,
       buyer_memo,
       clean_ip,
       end_time,
       pay_time,
       is_sub,
       is_parent,
       shop_id,
       total_fee,
       is_large_order_flag;

3. Konfigurasikan parameter debugging.

   Klik Running Configurations di sisi kanan halaman pengeditan node MaxCompute SQL:

   • Konfigurasikan parameter Computing Resource dengan memilih sumber daya komputasi MaxCompute yang diikat di Asosiasikan sumber daya MaxCompute dan kuota komputasinya yang sesuai.

   • Konfigurasikan parameter kelompok sumber daya dengan memilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat dan asosiasikan sumber daya.

4. Klik Save di bilah alat node untuk menyimpan node tersebut.

Mengagregasi data detail yang telah dibersihkan dan distandardisasi dari lapisan DWD berdasarkan tabel dwd_trade_order dan tabel dim_item_info untuk menghasilkan tabel ringkasan penjualan kategori produk harian dws_daily_category_sales.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node dws_daily_category_sales dan klik Open Node.

2. Tempel kode berikut ke halaman pengeditan node.

   CREATE TABLE IF NOT EXISTS dws_daily_category_sales (
       cate_id             BIGINT COMMENT 'ID kategori daun produk',
       cate_name           STRING COMMENT 'Nama kategori daun produk',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total jumlah penjualan untuk kategori produk, dalam sen',
       order_count         BIGINT COMMENT 'Jumlah pesanan'
   )
   COMMENT 'Tabel agregat penjualan kategori produk harian'
   PARTITIONED BY (pt STRING COMMENT 'Timestamp data, yyyymmdd')
   LIFECYCLE 365;
   
   
   INSERT OVERWRITE TABLE dws_daily_category_sales PARTITION(pt='${bizdate}')
   SELECT
       i.cate_id,
       i.cate_name,
       SUM(t.total_fee) AS total_sales_amount,
       COUNT(DISTINCT t.id) AS order_count
   FROM dwd_trade_order t
   JOIN dim_item_info i ON t.item_id = i.item_id AND t.pt = i.pt
   WHERE t.pt = '${bizdate}'
   GROUP BY t.pt, i.cate_id, i.cate_name;

3. Konfigurasikan parameter debugging.

   Klik Running Configurations di sisi kanan halaman pengeditan node MaxCompute SQL:

   • Konfigurasikan parameter Computing Resource dengan memilih sumber daya komputasi MaxCompute yang diikat di Asosiasikan sumber daya MaxCompute dan kuota komputasinya yang sesuai.

   • Konfigurasikan parameter kelompok sumber daya dengan memilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat dan asosiasikan sumber daya.

4. Klik Save di bilah alat node untuk menyimpan node tersebut.

Menghasilkan tabel peringkat kategori produk terlaris harian ads_top_selling_categories berdasarkan tabel dws_daily_category_sales.

1. Di halaman orkestrasi alur kerja, arahkan kursor ke node ads_top_selling_categories dan klik Open Node.

2. Tempel kode berikut ke halaman pengeditan node.

   CREATE TABLE IF NOT EXISTS ads_top_selling_categories (
       rank                BIGINT COMMENT 'Peringkat penjualan',
       cate_id             BIGINT COMMENT 'ID kategori daun produk',
       cate_name           STRING COMMENT 'Nama kategori daun produk',
       total_sales_amount  DECIMAL(38,18) COMMENT 'Total jumlah penjualan untuk kategori produk, dalam sen',
       order_count         BIGINT COMMENT 'Jumlah pesanan'
   )
   COMMENT 'Tabel peringkat harian kategori produk terlaris'
   PARTITIONED BY (pt STRING COMMENT 'Timestamp data, yyyymmdd');
   
   
   INSERT OVERWRITE TABLE ads_top_selling_categories PARTITION(pt='${bizdate}')
   SELECT
       rank,
       cate_id,
       cate_name,
       total_sales_amount,
       order_count
   FROM (
       SELECT
           DENSE_RANK() OVER(ORDER BY total_sales_amount DESC) AS rank,
           cate_id,
           cate_name,
           total_sales_amount,
           order_count
       FROM (
           SELECT
               cate_id,
               cate_name,
               SUM(total_sales_amount) AS total_sales_amount,
               SUM(order_count) AS order_count
           FROM dws_daily_category_sales
           WHERE pt = '${bizdate}'
           GROUP BY cate_id, cate_name
       ) agg_sub
   ) agg_outer
   WHERE rank <= 10;

3. Konfigurasikan parameter debugging.

   Klik Running Configurations di sisi kanan halaman pengeditan node MaxCompute SQL:

   • Konfigurasikan parameter Computing Resource dengan memilih sumber daya komputasi MaxCompute yang diikat di Asosiasikan sumber daya MaxCompute dan kuota komputasinya yang sesuai.

   • Konfigurasikan parameter kelompok sumber daya dengan memilih kelompok sumber daya arsitektur tanpa server yang dibeli di Buat dan asosiasikan sumber daya.

4. Klik Save di bilah alat node untuk menyimpan node tersebut.