DataWorks:Praktik terbaik untuk mengonfigurasi node push data dalam alur kerja

Langkah 1: Konfigurasikan aliran push data

Klik dua kali alur kerja DataPushDemo. Di kanvas alur kerja, hubungkan node SalesAmountPreMonth, Condition, CompliantData, Top3Categories, NonCompliantData, dan Bottom3Categories untuk membentuk aliran push data. Gambar berikut menunjukkan aliran push data.

Langkah 2: Konfigurasikan node kueri SQL

Anda dapat mengonfigurasi node kueri SQL untuk menanyakan data uji dan menambahkan parameter outputs di bagian Input and Output Parameters untuk mengirimkan hasil kueri ke node cabang.

1. Klik dua kali node SalesAmountPreMonth. Pada tab konfigurasi node, tulis kode untuk node tersebut. Contoh kode:

   -- Menanyakan total jumlah penjualan bulan sebelumnya.
   SELECT SUM(sales) AS sales_amount
   FROM orders
   WHERE datetime BETWEEN DATE_FORMAT(CURRENT_DATE - INTERVAL 1 MONTH, '%Y-%m-01 00:00:00') AND DATE_FORMAT(LAST_DAY(CURRENT_DATE - INTERVAL 1 MONTH), '%Y-%m-%d 23:59:59');

2. Di panel navigasi sisi kanan tab konfigurasi node, klik tab Properties. Pada tab Properti, konfigurasikan parameter.

   • Scheduled time: Atur nilainya menjadi 08:00.

   • Resource Group: Pilih grup sumber daya serverless yang ada.

   • Parent Nodes: Pilih opsi Add Root Node.

   • Output Parameters: Di bagian Input and Output Parameters, klik Add assignment parameter di sebelah kanan Output Parameters untuk menambahkan parameter keluaran node kueri SQL. Parameter keluaran digunakan sebagai parameter masukan node push data.

Langkah 3: Konfigurasikan node cabang

Anda dapat mengonfigurasi parameter outputs dari node kueri SQL sebagai parameter input node cabang di bagian Input and Output Parameters. Setelah node cabang melakukan penilaian logis, node cabang menggunakan parameter outputs-nya untuk mengirimkan hasil kueri ke node anak dari node cabang.

1. Klik dua kali node Condition. Di bagian Definisi pada tab konfigurasi node, klik Add Branch. Di kotak dialog Definisi Cabang, konfigurasikan parameter. Tabel berikut menjelaskan parameter yang harus Anda konfigurasikan.

   Parameter	Node anak yang menerima data sesuai	Node anak yang menerima data tidak sesuai
   Condition	${inputs[0][0]}>=500000	${inputs[0][0]}<500000
   Associated Node Output	Sesuai	Tidak sesuai
   Description	Jumlah penjualan yang memenuhi kondisi tertentu	Jumlah penjualan yang tidak memenuhi kondisi tertentu

   Catatan

   [0][0] adalah larik dua dimensi yang menentukan data dalam parameter keluaran node leluhur dari node cabang.

   • Jika node leluhur adalah node kueri SQL, larik dua dimensi digunakan untuk menentukan data dalam parameter keluaran node leluhur dari node cabang.

   • Jika node leluhur adalah node Python, larik satu dimensi digunakan untuk menentukan data dalam parameter keluaran node leluhur dari node cabang.

2. Di panel navigasi sisi kanan tab konfigurasi node cabang, klik tab Properties. Pada tab Properti, konfigurasikan parameter. Tabel berikut menjelaskan parameter yang harus Anda konfigurasikan.

   Bagian dan parameter		Deskripsi
   Schedule	Scheduling Cycle	Atur nilainya menjadi Hari.
   	Scheduled time	Atur nilainya menjadi 08:00.
   	Rerun	Atur nilainya menjadi Izinkan Tanpa Memperhatikan Status Berjalan.
   Resource Group	Resource Group	Pilih grup sumber daya yang ada untuk penjadwalan. Catatan Pertama kali Anda menggunakan node push data, Anda harus mengajukan tiket untuk meningkatkan grup sumber daya Anda untuk penjadwalan.
   Output Name of Current Node		Setelah Anda mengonfigurasi cabang, nama keluaran akan diurai secara otomatis dan ditampilkan. output name sama dengan nilai yang Anda atur untuk parameter Associated Node Output saat Anda menambahkan cabang.
   Input and Output Parameters	Input Parameters	Klik Buat. Parameter Name: inputs. Value Source: Pilih parameter outputs dari node SalesAmountPreMonth.
   	Output Parameters	Secara default, sistem menambahkan parameter outputs.

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 4: Konfigurasikan node anak dari node cabang

Dalam contoh ini, node CompliantData dan NonCompliantData adalah node anak dari node cabang. Setelah branch node meneruskan hasil kueri ke node anaknya menggunakan parameter outputs, Anda dapat menambahkan parameter outputs di bagian Input and Output Parameters untuk setiap node anak guna meneruskan hasil kueri ke node pendorong data yang sesuai.

1. Klik dua kali node CompliantData dan NonCompliantData secara berturut-turut. Pada tab konfigurasi setiap node, tulis kode untuk node tersebut.

   Contoh kode untuk node CompliantData

   SET @all_cat_sales_volume_month := 0.0;
   SELECT SUM(sales) INTO @all_cat_sales_volume_month FROM orders WHERE datetime BETWEEN DATE_FORMAT(CURRENT_DATE - INTERVAL 1 MONTH, '%Y-%m-01 00:00:00') AND DATE_FORMAT(LAST_DAY(CURRENT_DATE - INTERVAL 1 MONTH), '%Y-%m-%d 23:59:59');
   
   -- Buat tabel sementara.
   CREATE TEMPORARY TABLE IF NOT EXISTS temp_array (
     category VARCHAR(255),
     sales DOUBLE,
     all_cat_sales_volume_month DOUBLE
   );
   -- Menanyakan data dan menulis data ke tabel sementara.
   INSERT INTO temp_array (category, sales, all_cat_sales_volume_month) SELECT category, SUM(sales) AS amount, @all_cat_sales_volume_month FROM orders WHERE datetime BETWEEN DATE_FORMAT(CURRENT_DATE - INTERVAL 1 MONTH, '%Y-%m-01 00:00:00') AND DATE_FORMAT(LAST_DAY(CURRENT_DATE - INTERVAL 1 MONTH), '%Y-%m-%d 23:59:59') GROUP BY category ORDER BY amount DESC limit 3;
   -- Menanyakan tiga kategori teratas yang jumlah penjualannya memenuhi kondisi tertentu.
   SELECT category, sales, all_cat_sales_volume_month FROM temp_array;

   Contoh kode untuk node NonCompliantData

   SET @all_cat_sales_volume_month := 0.0;
   SELECT SUM(sales) INTO @all_cat_sales_volume_month FROM orders WHERE datetime BETWEEN DATE_FORMAT(CURRENT_DATE - INTERVAL 1 MONTH, '%Y-%m-01 00:00:00') AND DATE_FORMAT(LAST_DAY(CURRENT_DATE - INTERVAL 1 MONTH), '%Y-%m-%d 23:59:59');
   
   -- Buat tabel sementara.
   CREATE TEMPORARY TABLE IF NOT EXISTS temp_array (
     category VARCHAR(255),
     sales DOUBLE,
     all_cat_sales_volume_month DOUBLE
   );
   
   -- Menanyakan data dan menulis data ke tabel sementara.
   INSERT INTO temp_array (category, sales, all_cat_sales_volume_month) SELECT category, SUM(sales) AS amount, @all_cat_sales_volume_month FROM orders WHERE datetime BETWEEN DATE_FORMAT(CURRENT_DATE - INTERVAL 1 MONTH, '%Y-%m-01 00:00:00') AND DATE_FORMAT(LAST_DAY(CURRENT_DATE - INTERVAL 1 MONTH), '%Y-%m-%d 23:59:59') GROUP BY category ORDER BY amount ASC limit 3;
   
   -- Menanyakan tiga kategori terbawah yang jumlah penjualannya tidak memenuhi kondisi tertentu.
   SELECT category, sales, all_cat_sales_volume_month FROM temp_array;

2. Di panel navigasi sisi kanan tab konfigurasi node, klik tab Properties. Pada tab Properti, konfigurasikan parameter.

   • Scheduled time: Atur nilainya menjadi 08:00.

   • Resource Group: Pilih grup sumber daya serverless yang ada.

   • Parent Nodes: Periksa apakah dependensi antara node cabang dan node anaknya sudah benar. Dependensi dikonfigurasikan saat Anda mengonfigurasi aliran push data di Langkah 1.

     • CompliantData: Di bagian Dependencies, periksa apakah nilai di kolom Nama Keluaran Node Ancestor adalah Compliant.

     • NonCompliantData: Di bagian Dependencies, periksa apakah nilai di kolom Nama Keluaran Node Ancestor adalah Non-compliant.

   • Output Parameters: Di bagian Input and Output Parameters, klik Add assignment parameter di sebelah kanan Output Parameters untuk menambahkan parameter keluaran node kueri SQL. Parameter keluaran digunakan sebagai parameter masukan node push data.

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 5: Konfigurasikan node push data

Anda dapat menambahkan parameter masukan ke Input Parameters di bagian Input and Output Parameters untuk setiap node push data untuk mendapatkan parameter outputs dari node CompliantData dan NonCompliantData. Dengan cara ini, node push data dapat menggunakan parameter masukan untuk mendorong data ke tujuan tertentu.

1. Klik dua kali node Top3Categories dan Bottom3Categories secara berturut-turut. Di panel navigasi sisi kanan tab konfigurasi node terkait, klik tab Properties. Pada tab Properties, konfigurasikan parameter. Tabel berikut menjelaskan parameter yang harus Anda konfigurasikan.

   Bagian dan parameter		Deskripsi	Cuplikan layar
   Scheduling Parameter	Parameter Name	Atur nilai menjadi curdate.
   	Parameter Value	Atur nilai menjadi $[yyyymmddhh:mi:ss].
   Schedule	Scheduling Cycle	Atur nilainya menjadi Hari.
   	Scheduled time	Atur nilai menjadi 08:00. Catatan Dalam contoh ini, pastikan bahwa data dapat dikirim ke tujuan tertentu pada pukul 08:00 setiap hari. Anda dapat mengonfigurasi parameter ini sesuai dengan kebutuhan bisnis Anda.
   	Rerun	Atur nilai menjadi Allow Regardless of Running Status.
   Resource Group	Resource Group	Pilih grup sumber daya yang ada untuk penjadwalan. Catatan Pertama kali Anda menggunakan node push data, Anda harus mengajukan tiket untuk meningkatkan grup sumber daya Anda untuk penjadwalan.
   Input and Output Parameters	Input Parameters	Klik Create untuk menambahkan parameter masukan. Nama Parameter: inputs. Sumber Nilai: Top3Categories: Pilih parameter outputs dari node CompliantData dari daftar drop-down. Bottom3Categories: Pilih parameter outputs dari node NonCompliantData dari daftar drop-down.	Top3Categories Bottom3Categories

2. Konfigurasikan data untuk didorong.

   • Destination: Pilih tujuan dari daftar drop-down Destination. Jika tidak ada tujuan yang tersedia, klik Create Destination untuk membuat tujuan. Tabel berikut menjelaskan parameter untuk membuat tujuan.

     Parameter	Deskripsi
     Type	Pilih saluran push. DingTalk, Lark, WeCom, Microsoft Teams, dan Email didukung.
     Name	Masukkan nama berdasarkan kebutuhan bisnis Anda.
     WebHook	Masukkan URL webhook dari saluran push yang Anda pilih. Anda perlu mendapatkan URL dari saluran push terkait di platform yang sesuai. Catatan Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Lark, lihat Gunakan pemicu webhook. Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Teams, lihat Buat incoming webhooks dengan Workflows untuk Microsoft Teams.

   • Title: Masukkan Kategori dengan jumlah penjualan peringkat tiga teratas untuk node Top3Categories dan Kategori dengan jumlah penjualan peringkat tiga terbawah untuk node Bottom3Categories.

   • Body: Konfigurasikan konten berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Konten untuk Didorong dari topik Push Data.

     Catatan

     Di bagian Isi, Anda dapat langsung menggunakan nama bidang yang ditanyakan oleh node kueri SQL sebagai placeholder untuk mendapatkan parameter masukan node push data.

     • Konfigurasi contoh untuk node Top3Categories

     • Konfigurasi contoh untuk node Bottom3Categories

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 6: Uji aliran push data

Setelah Anda mengonfigurasi aliran push data bersyarat, Anda harus mengujinya sebelum melakukan commit alur kerja dan menerapkan node dalam alur kerja.

1. Klik dua kali alur kerja DataPushDemo.

2. Di tab konfigurasi alur kerja, klik kanan node SalesAmountPreMonth dan pilih Jalankan Node Saat Ini dan Node Turunannya.

   Catatan

   Jika sebuah node dalam aliran push data gagal, klik kanan node tersebut dan pilih View Log untuk melihat log.

   

Langkah 1: Konfigurasikan aliran push data

Klik dua kali alur kerja DataPushDemo. Di kanvas alur kerja, hubungkan node SalesAmountPreWeek, Top3CategoryList, dan Top3CategoriesPreWeek untuk membentuk aliran push data. Gambar berikut menunjukkan aliran push data.

Langkah 2: Konfigurasikan node kueri SQL

Anda dapat mengonfigurasi node kueri SQL untuk menanyakan data uji dan menambahkan parameter outputs di bagian Input and Output Parameters untuk mengirimkan hasil kueri node SQL ke node penugasan.

1. Klik dua kali node SalesAmountPreWeek. Pada tab konfigurasi node, tulis kode untuk node tersebut. Contoh kode:

   -- Menanyakan total jumlah penjualan minggu sebelumnya.
   SELECT category, SUM(sales) AS amount
   FROM orders
   WHERE datetime BETWEEN DATE_FORMAT(DATE_SUB(CURDATE(), INTERVAL 1 WEEK), '%Y-%m-%d 00:00:00') AND DATE_FORMAT(DATE_SUB(CURDATE(), INTERVAL 1 DAY), '%Y-%m-%d 23:59:59')
   GROUP BY category ORDER BY amount DESC limit 3;

2. Di panel navigasi sisi kanan tab konfigurasi node, klik tab Properties. Pada tab Properti, konfigurasikan parameter.

   • Scheduled time: Atur nilainya menjadi 08:00.

   • Resource Group: Pilih grup sumber daya serverless yang ada.

   • Parent Nodes: Pilih Add Root Node.

   • Output Parameters: Di bagian Input and Output Parameters, klik Add assignment parameter di sebelah kanan Output Parameters untuk menambahkan parameter keluaran node kueri SQL. Parameter keluaran digunakan sebagai parameter masukan node push data.

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 3: Konfigurasikan node penugasan

Anda dapat mengonfigurasi parameter outputs dari node kueri SQL sebagai parameter input node penugasan di bagian Input and Output Parameters. Kemudian, tetapkan ulang nilai ke parameter masukan untuk menghasilkan parameter outputs node penugasan. Node penugasan menggunakan parameter keluaran untuk mengirimkan data ke node push data.

1. Klik dua kali node Top3CategoryList. Pada tab konfigurasi node, pilih Python untuk Bahasa dan tulis kode untuk node tersebut.

   def main():
   
       From datetime import date
       today = date.today()
       formatted_date = today.strftime('%Y-%m-%d')
       
       msg = 'Tanggal statistik: ' + formatted_date + ' \\n\\n ' \
       '- 1: ${inputs[0][0]}, penjualan: ${inputs[0][1]} \\n\\n ' \
       '- 2: ${inputs[1][0]}, penjualan: ${inputs[1][1]} \\n\\n ' \
       '- 3: ${inputs[2][0]}, penjualan: ${inputs[2][1]} \\n\\n '
       
       print(msg)
   
   
   if __name__ == "__main__":
       import sys
       main()

2. Di panel navigasi sisi kanan tab konfigurasi node, klik tab Properties. Pada tab Properti, konfigurasikan parameter.

   • Scheduled time: Atur nilainya menjadi 08:00.

   • Resource Group: Pilih grup sumber daya yang ada untuk penjadwalan.

   • Input and Output Parameters

     • Input Parameters

       • Klik Buat. Parameter Name: inputs.

       • Value Source: Pilih parameter outputs dari node SalesAmountPreWeek dari daftar drop-down.

     • Output Parameters: Secara default, sistem menambahkan parameter outputs.

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 4: Konfigurasikan node push data

Anda dapat mengonfigurasi parameter outputs dari node penugasan sebagai parameter input node push data di bagian Input and Output Parameters. Kemudian, node push data menggunakan parameter masukan untuk mendorong data ke tujuan tertentu.

1. Klik dua kali node Top3CategoriesPreWeek. Di panel navigasi sebelah kanan tab konfigurasi node, klik tab Properties. Pada tab Properties, konfigurasikan parameter. Tabel berikut menjelaskan parameter yang harus Anda konfigurasikan.

   Bagian dan parameter		Deskripsi	Cuplikan layar
   Scheduling Parameter	Parameter Name	Atur nilainya menjadi curdate.
   	Parameter Value	Atur nilainya menjadi $[yyyymmddhh:mi:ss].
   Schedule	Scheduling Cycle	Atur nilai menjadi Day.
   	Scheduled time	Atur nilai menjadi 08:00. Catatan Dalam contoh ini, pastikan bahwa data dapat dikirim ke tujuan tertentu pada pukul 08:00 setiap hari. Anda dapat mengonfigurasi parameter ini sesuai dengan kebutuhan bisnis Anda.
   	Rerun	Atur nilai menjadi Allow Regardless of Running Status.
   Resource Group	Resource Group	Pilih grup sumber daya yang ada untuk penjadwalan. Catatan Pertama kali Anda menggunakan node push data, Anda harus mengirim Tiket untuk meningkatkan grup sumber daya Anda untuk penjadwalan.
   Input and Output Parameters	Input Parameters	Klik Create untuk menambahkan parameter input. Nama Parameter: inputs. Sumber Nilai: Pilih parameter outputs dari node Top3CategoryList dari daftar drop-down.

2. Konfigurasikan data untuk didorong.

   • Destination: Pilih tujuan dari daftar drop-down Destination. Jika tidak ada tujuan yang tersedia, klik Create Destination untuk membuat tujuan. Tabel berikut menjelaskan parameter untuk membuat tujuan.

     Parameter	Deskripsi
     Type	Pilih saluran push. DingTalk, Lark, WeCom, dan Teams didukung.
     Name	Masukkan nama berdasarkan kebutuhan bisnis Anda.
     WebHook	Masukkan URL webhook dari saluran push yang Anda pilih. Anda perlu mendapatkan URL dari saluran push terkait di platform yang sesuai. Catatan Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Lark, lihat Gunakan pemicu webhook. Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Teams, lihat Buat incoming webhooks dengan Workflows untuk Microsoft Teams.

   • Title: Masukkan Kategori dengan jumlah penjualan peringkat tiga teratas pada minggu sebelumnya.

   • Body: Konfigurasikan konten berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Konten untuk Didorong dari topik Push Data.

     Catatan

     Di bagian Isi, Anda dapat langsung menggunakan nama bidang yang ditanyakan oleh node kueri SQL sebagai placeholder untuk mendapatkan parameter masukan node push data.

     

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 5: Uji aliran push data

Setelah Anda mengonfigurasi aliran push data skrip, Anda harus mengujinya sebelum melakukan commit alur kerja dan menerapkan node dalam alur kerja.

1. Klik dua kali alur kerja DataPushDemo.

2. Di tab konfigurasi alur kerja, klik kanan node SalesAmountPreWeek dan pilih Run Current Node and Its Descendant Nodes.

   Catatan

   Jika sebuah node dalam aliran push data gagal, klik kanan node tersebut dan pilih View Log untuk melihat log.

   

Langkah 1: Konfigurasikan aliran push data

Klik dua kali alur kerja DataPushDemo. Di kanvas alur kerja, hubungkan node SalesAmountPreDay dan PushSalesAmountPreDay untuk membentuk aliran push data. Gambar berikut menunjukkan aliran push data.

Langkah 2: Konfigurasikan node kueri SQL

Anda dapat mengonfigurasi node kueri SQL untuk menanyakan data uji dan menambahkan parameter outputs di bagian Input and Output Parameters untuk mengirimkan hasil kueri node SQL ke node push data.

1. Klik dua kali node SalesAmountPreDay. Pada tab konfigurasi node, tulis kode untuk node tersebut. Contoh kode:

   -- Buat tabel sementara bernama temp_array.
   CREATE TEMPORARY TABLE IF NOT EXISTS temp_array (
     total_amount DOUBLE
   );
   
   -- Tulis data terkait total jumlah penjualan kemarin ke tabel temp_array.
   INSERT INTO temp_array (total_amount) 
   SELECT SUM(sales)
   FROM orders
   WHERE datetime BETWEEN DATE_FORMAT(DATE_SUB(CURDATE(), INTERVAL 1 DAY), '%Y-%m-%d 00:00:00') AND DATE_FORMAT(DATE_SUB(CURDATE(), INTERVAL 1 DAY), '%Y-%m-%d 23:59:59');
   
   -- Menanyakan tabel temp_array.
   select total_amount FROM temp_array;

2. Di panel navigasi sisi kanan tab konfigurasi node, klik tab Properties. Pada tab Properti, konfigurasikan parameter.

   • Scheduled time: Atur nilai menjadi 08:00.

   • Resource Group: Pilih grup sumber daya serverless yang ada.

   • Parent Nodes: Pilih opsi Add Root Node.

   • Output Parameters: Di bagian Input and Output Parameters, klik Add assignment parameter di sebelah kanan Output Parameters untuk menambahkan parameter keluaran node kueri SQL. Parameter keluaran digunakan sebagai parameter masukan node push data.

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 3: Konfigurasikan node push data

Anda dapat mengonfigurasi parameter outputs dari node kueri SQL sebagai parameter input node push data di bagian Input and Output Parameters. Kemudian, node push data menggunakan parameter masukan untuk mendorong data ke tujuan tertentu.

1. Klik dua kali node PushSalesAmountPreDay. Di panel navigasi sisi kanan tab konfigurasi node, klik tab Properties. Pada tab Properties, konfigurasikan parameter. Tabel berikut menjelaskan parameter yang harus Anda konfigurasikan.

   Bagian dan parameter		Deskripsi	Cuplikan layar
   Scheduling Parameter	Parameter Name	Atur nilainya menjadi curdate.
   	Parameter Value	Atur nilai menjadi $[yyyymmddhh:mi:ss].
   Schedule	Scheduling Cycle	Atur nilainya menjadi Hari.
   	Scheduled time	Atur nilai menjadi 08:00. Catatan Dalam contoh ini, pastikan bahwa data dapat dikirim ke tujuan tertentu pada pukul 08:00 setiap hari. Anda dapat mengonfigurasi parameter ini sesuai dengan kebutuhan bisnis Anda.
   	Rerun	Atur nilai menjadi Allow Regardless of Running Status.
   Resource Group	Resource Group	Pilih grup sumber daya yang ada untuk penjadwalan. Catatan Pertama kali Anda menggunakan node push data, Anda harus mengirimkan Tiket untuk meningkatkan grup sumber daya Anda untuk penjadwalan.
   Input and Output Parameters	Input Parameters	Klik Create untuk menambahkan parameter input. Parameter Name: inputs. Value Source: Pilih parameter outputs dari node SalesAmountPreDay dari daftar drop-down.

2. Konfigurasikan data untuk didorong.

   • Destination: Pilih tujuan dari daftar drop-down Destination. Jika tidak ada tujuan yang tersedia, klik Create Destination untuk membuat tujuan. Tabel berikut menjelaskan parameter untuk membuat tujuan.

     Parameter	Deskripsi
     Type	Pilih saluran push. DingTalk, Lark, WeCom, dan Teams didukung.
     Name	Masukkan nama berdasarkan kebutuhan bisnis Anda.
     WebHook	Masukkan URL webhook dari saluran push yang Anda pilih. Anda perlu mendapatkan URL dari saluran push terkait di platform yang sesuai. Catatan Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Lark, lihat Gunakan pemicu webhook. Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Teams, lihat Buat incoming webhooks dengan Workflows untuk Microsoft Teams.

   • Title: Masukkan Total jumlah penjualan kemarin.

   • Body: Konfigurasikan konten berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Konten untuk Didorong dari topik Push Data.

     Catatan

     Di bagian Isi, Anda dapat langsung menggunakan nama bidang yang ditanyakan oleh node kueri SQL sebagai placeholder untuk mendapatkan parameter masukan node push data.

     

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 4: Uji aliran

Setelah Anda mengonfigurasi aliran push data sederhana, Anda harus mengujinya sebelum melakukan commit alur kerja dan menerapkan node dalam alur kerja.

1. Klik dua kali alur kerja DataPushDemo.

2. Di tab konfigurasi alur kerja, klik kanan node SalesAmountPreDay dan pilih Run Current Node and Its Descendant Nodes.

   Catatan

   Jika sebuah node dalam aliran push data gagal, klik kanan node tersebut dan pilih View Log untuk melihat log.

   

Langkah 1: Konfigurasikan aliran push data

Klik dua kali alur kerja DataPushDemo. Di kanvas alur kerja, hubungkan node SalesAmountPreDay, SalesGrowthPreDay, dan CombinedPush untuk membentuk aliran push data. Gambar berikut menunjukkan aliran push data.

Langkah 2: Konfigurasikan node kueri SQL

Anda dapat mengonfigurasi setiap node kueri SQL untuk menanyakan data uji dan menggunakan parameter outputs di bagian Input and Output Parameters untuk mengirimkan hasil kueri node SQL ke node push data.

1. Klik node SalesGrowthPreDay. Pada tab konfigurasi node, tulis kode untuk node tersebut. Contoh kode:

   -- Buat tabel bernama temp_array1 untuk mengumpulkan total jumlah penjualan dua hari sebelumnya.
   CREATE TEMPORARY TABLE IF NOT EXISTS temp_array1 (
     category VARCHAR(255),
     sales DOUBLE
   );
   -- Tulis data dua hari sebelumnya ke tabel temp_array1.
   INSERT INTO temp_array1 (category, sales) SELECT category, SUM(sales)
   FROM orders
   WHERE datetime BETWEEN DATE_FORMAT(DATE_SUB(CURDATE(), INTERVAL 2 DAY), '%Y-%m-%d 00:00:00') AND DATE_FORMAT(DATE_SUB(CURDATE(), INTERVAL 2 DAY), '%Y-%m-%d 23:59:59')
   GROUP BY category;
   
   -- Buat tabel bernama temp_array2 untuk mengumpulkan total jumlah penjualan kemarin.
   CREATE TEMPORARY TABLE IF NOT EXISTS temp_array2 (
     category VARCHAR(255),
     sales DOUBLE
   );
   -- Tulis data kemarin ke tabel temp_array2.
   INSERT INTO temp_array2 (category, sales) SELECT category, SUM(sales)
   FROM orders
   WHERE datetime BETWEEN DATE_FORMAT(DATE_SUB(CURDATE(), INTERVAL 1 DAY), '%Y-%m-%d 00:00:00') AND DATE_FORMAT(DATE_SUB(CURDATE(), INTERVAL 1 DAY), '%Y-%m-%d 23:59:59')
   GROUP BY category;
   
   -- Buat tabel bernama result untuk mengumpulkan pertumbuhan penjualan kemarin.
   CREATE TEMPORARY TABLE IF NOT EXISTS result (
     category VARCHAR(255),
     diff DOUBLE
   );
   -- Tulis data pertumbuhan penjualan ke tabel result.
   INSERT INTO result (category, diff) SELECT temp_array2.category AS category, temp_array2.sales - temp_array1.sales AS diff FROM temp_array1 LEFT JOIN temp_array2 ON temp_array1.category = temp_array2.category;
   
   -- Menanyakan data dari tabel result.
   SELECT category, diff FROM result;

2. Di panel navigasi sisi kanan tab konfigurasi node, klik tab Properties. Pada tab Properti, konfigurasikan parameter.

   • Scheduled time: Atur nilainya menjadi 08:00.

   • Resource Group: Pilih grup sumber daya serverless yang ada.

   • Parent Nodes: Pilih opsi Add Root Node.

   • Output Parameters: Di bagian Input and Output Parameters, klik Add assignment parameter di sebelah kanan Output Parameters untuk menambahkan parameter keluaran node kueri SQL. Parameter keluaran digunakan sebagai parameter masukan node push data.

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 3: Konfigurasikan node push data

Anda dapat mengonfigurasi parameter outputs dari node SalesAmountPreDay dan SalesGrowthPreDay sebagai parameter input node push data di bagian Input and Output Parameters. Kemudian, node push data menggunakan parameter masukan untuk mendorong data ke tujuan tertentu.

1. Klik dua kali node CombinedPush. Di panel navigasi sisi kanan tab konfigurasi node, klik tab Properties. Pada tab Properties, konfigurasikan parameter. Tabel berikut menjelaskan parameter yang harus Anda konfigurasikan.

   Bagian dan parameter		Deskripsi	Cuplikan layar
   Scheduling Parameter	Parameter Name	Atur nilainya menjadi curdate.
   	Parameter Value	Atur nilai menjadi $[yyyymmddhh:mi:ss].
   Schedule	Scheduling Cycle	Atur nilainya menjadi Hari.
   	Scheduled time	Atur nilainya menjadi 08:00. Catatan Dalam contoh ini, pastikan bahwa data dapat didorong ke tujuan tertentu pada pukul 08:00 setiap hari. Anda dapat mengonfigurasi parameter ini berdasarkan kebutuhan bisnis Anda.
   	Rerun	Atur nilainya menjadi Izinkan Tanpa Memperhatikan Status Berjalan.
   Resource Group	Resource Group	Pilih grup sumber daya yang ada untuk penjadwalan. Catatan Pertama kali Anda menggunakan node push data, Anda harus mengirimkan Tiket untuk meningkatkan grup sumber daya Anda untuk penjadwalan.
   Input and Output Parameters	Input Parameters	Klik Create untuk menambahkan parameter input. Parameter 1: Parameter Name: inputs1. Value Source: Pilih parameter outputs dari node SalesAmountPreDay dari daftar drop-down. Parameter 2: Parameter Name: inputs2. Value Source: Pilih parameter outputs dari SalesGrowthPreDay dari daftar drop-down.

2. Konfigurasikan data untuk didorong.

   • Destination: Pilih tujuan dari daftar drop-down Destination. Jika tidak ada tujuan yang tersedia, klik Create Destination untuk membuat tujuan. Tabel berikut menjelaskan parameter untuk membuat tujuan.

     Parameter	Deskripsi
     Type	Pilih saluran push. DingTalk, Lark, WeCom, dan Teams didukung.
     Name	Masukkan nama berdasarkan kebutuhan bisnis Anda.
     WebHook	Masukkan URL webhook dari saluran push yang Anda pilih. Anda perlu mendapatkan URL dari saluran push terkait di platform yang sesuai. Catatan Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Lark, lihat Gunakan pemicu webhook. Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Teams, lihat Buat incoming webhooks dengan Workflows untuk Microsoft Teams.

   • Title: Masukkan Jumlah penjualan dan pertumbuhan jumlah penjualan kemarin.

   • Body: Konfigurasikan konten berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Konten untuk Didorong dari topik Push Data.

     Catatan

     Di bagian Isi, Anda dapat langsung menggunakan nama bidang yang ditanyakan oleh node kueri SQL sebagai placeholder untuk mendapatkan parameter masukan node push data.

     

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 4: Uji aliran push data

Setelah Anda mengonfigurasi aliran push data gabungan dan aliran push data sederhana, Anda harus menguji aliran push data gabungan sebelum melakukan commit alur kerja dan menerapkan node dalam alur kerja.

1. Klik dua kali alur kerja DataPushDemo.

2. Di tab konfigurasi alur kerja, klik kanan node CombinedPush dan pilih Run Current Node and Its Descendant Nodes.

   Catatan

   Jika sebuah node dalam aliran push data gagal, klik kanan node tersebut dan pilih View Log untuk melihat log.

   

Langkah 1: Konfigurasikan aliran push data

Klik dua kali alur kerja DataPushDemo. Di kanvas alur kerja, hubungkan node MaxComputeDataSync, MaxComputeDataQuery, dan MaxComputeDataPush untuk membentuk aliran push data. Gambar berikut menunjukkan aliran push data.

Langkah 2: Konfigurasikan node sinkronisasi batch

Anda dapat mengonfigurasi node MaxComputeDataSync untuk menyinkronkan data uji yang ditulis ke MySQL di bagian Siapkan Data ke sumber data MaxCompute yang telah dibuat untuk digunakan di masa mendatang.

1. Klik dua kali node MaxComputeDataSync. Pada tab konfigurasi node, atur parameter-parameter. Tabel berikut menjelaskan parameter-parameter tersebut.

   Item		Deskripsi	Tangkapan layar
   Source	Source	Pilih MySQL.
   	Data Source Name	Pilih sumber data MySQL yang telah Anda tambahkan.
   Resource group		Pilih resource group tanpa server.
   Destination	Destination	Pilih MaxCompute(ODPS).
   	Data Source Name	Pilih sumber data MaxCompute yang ditambahkan ke ruang kerja.

   Setelah konfigurasi selesai, sistem akan menguji konektivitas antara sumber data dan resource group. Setelah sumber data lulus uji konektivitas jaringan, klik Berikutnya untuk mengonfigurasi sumber dan tujuan.

2. Konfigurasikan sumber dan tujuan.

   Bagian dan parameter		Deskripsi	Tangkapan layar
   Source	Data source	Catat hal-hal berikut: Biarkan nilai default MySQL. Pilih sumber data MySQL yang telah Anda tambahkan.
   	Table	Pilih tabel orders.
   	Data filtering	Konfigurasikan parameter ini sesuai dengan kebutuhan bisnis Anda. Dalam contoh ini, parameter ini dibiarkan kosong.
   	Split key	Anda dapat menggunakan kolom dalam tabel sumber sebagai kunci shard. Kami menyarankan Anda untuk menggunakan kolom kunci utama atau kolom terindeks.
   	Data preview	Anda dapat mengklik Pratinjau data untuk memeriksa apakah data yang diperoleh dari sumber data MySQL memenuhi harapan Anda.
   Destination	Data source	Catat hal-hal berikut: Biarkan nilai default MaxCompute. Pilih sumber data MaxCompute yang ditambahkan ke ruang kerja.
   	Tunnel Resource Group	Biarkan nilai default Sumber daya transmisi bersama. Sumber daya yang ditentukan digunakan sebagai kuota Tunnel.
   	Table	Klik Generate Destination Table Schema untuk menghasilkan tabel tujuan.
   	Partition information	Jika Anda ingin data tambahan harian disimpan di partisi tanggal yang sesuai, Anda dapat mengonfigurasi parameter pt untuk sinkronisasi data tambahan harian. Sebagai contoh, Anda dapat mengatur pt menjadi ${bizdate}.
   	Write Mode	Pilih opsi Clean up existing data before writing (Insert Overwrite).

3. Petakan bidang sumber ke bidang tujuan yang namanya sama dengan bidang sumber.

4. Konfigurasikan kebijakan kontrol saluran.

   • Task Expected Maximum Concurrency: Jumlah sebenarnya dari thread paralel yang digunakan selama sinkronisasi data mungkin lebih kecil atau sama dengan ambang batas yang ditentukan karena karakteristik spesifik dari sumber daya atau tugas. Anda akan dikenakan biaya untuk grup sumber daya yang Anda pilih berdasarkan jumlah sebenarnya dari thread paralel yang Anda gunakan. Dalam contoh ini, atur parameter ini menjadi 2.

   • Synchronization rate: Pembatasan laju dapat mengurangi beban kerja baca dan tulis pada sumber dan tujuan. Jika Anda tidak mengaktifkan pembatasan laju, sistem memproses node dengan performa transmisi maksimum yang tersedia di lingkungan perangkat keras yang ada. Dalam contoh ini, pilih No current limit.

   • Policy for Dirty Data Records: Pilih Tolak Rekaman Data Kotor.

   • Distributed Execution: Secara default, sakelar ini dimatikan. Anda dapat menyalakan sakelar ini hanya jika jumlah maksimum thread paralel yang Anda tentukan lebih besar atau sama dengan 8.

   

5. Konfigurasikan properti penjadwalan.

   Di panel navigasi sebelah kanan tab konfigurasi node, klik tab Properties. Pada tab Properties, konfigurasikan parameter.

   • Scheduling Parameter

     • Parameter Name: Atur nilainya menjadi bizdate.

     • Parameter Value: Atur nilainya menjadi $[yyyymmdd-1].

   • Scheduled time: Atur nilainya menjadi 08:00.

   • Rerun: Atur parameter ini ke Mengizinkan Tanpa Memperhatikan Status Berjalan.

   • Resource Group: Pilih grup sumber daya yang ada untuk penjadwalan.

   • Dependencies: Pilih Add Root Node untuk menggunakan node root sebagai node leluhur dari node sinkronisasi batch.

6. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 3: Konfigurasikan node penugasan

Sumber data MaxCompute tidak mengizinkan Anda menggunakan node ODPS SQL untuk menanyakan data dan menggunakan output parameters untuk mengirim data ke node push data. Anda dapat mengonfigurasi node penugasan untuk menanyakan data MaxCompute dan menambahkan parameter outputs di bagian Parameter Input dan Output untuk meneruskan hasil kueri ke node push data.

1. Klik dua kali node MaxComputeDataQuery.

   1. Pada tab konfigurasi node, pilih ODPS SQL dari daftar drop-down Language.

   2. Tulis kode untuk node tersebut. Contoh kode:

      -- Buat subkueri untuk memberi peringkat jumlah penjualan di setiap partisi secara menurun.
      -- Panggil fungsi DENSE_RANK() untuk memberi peringkat pada setiap baris dalam sebuah partisi. Jika beberapa baris dalam partisi memiliki jumlah penjualan yang identik, fungsi DENSE_RANK() memberikan peringkat yang sama kepada baris-baris tersebut. Angka peringkat berurutan.
      --
      -- Subkueri:
      -- 1. Pilih kolom-kolom berikut dari tabel orders: order_id, category, sales, datetime, dan pt.
      -- 2. Panggil fungsi DENSE_RANK() OVER (PARTITION BY pt ORDER BY sales DESC).
         -- PARTITION BY pt: Partisi catatan data berdasarkan bidang pt. Subkueri memberi peringkat catatan data di setiap partisi yang ditentukan oleh bidang pt.
         -- ORDER BY sales DESC: Memberi peringkat catatan data di setiap partisi berdasarkan nilai bidang sales secara menurun.
         -- Kolom rank menyimpan peringkat jumlah penjualan untuk setiap baris di setiap partisi.
      --
      -- Kueri utama:
      -- Tanyakan catatan data yang jumlah penjualannya berada di tiga teratas dari hasil kueri subkueri.
      -- Ini berarti bahwa catatan data yang jumlah penjualannya berada di tiga teratas untuk setiap timestamp data akan ditanyakan.
      
      SELECT
        order_id,          -- ID pesanan.
        category,          -- Kategori produk.
        sales,             -- Jumlah penjualan.
        datetime, -- Waktu pembayaran pesanan.
        pt -- Timestamp tanggal.
      FROM (
          SELECT
            order_id,
            category,
            sales,
            datetime,
            pt,
            DENSE_RANK() OVER (PARTITION BY pt ORDER BY sales DESC) AS rank  -- Hitung peringkat jumlah penjualan di setiap partisi.
          FROM orders
          WHERE pt = '${bizdate}'  -- Tanyakan catatan data berdasarkan timestamp data, yang ditentukan oleh ${bizdate}.
      ) AS ranked_orders
      WHERE rank <= 3  -- Pertahankan tiga catatan data teratas di setiap partisi.

2. Di panel navigasi kanan tab konfigurasi node, klik tab Properties. Di tab Properties, konfigurasikan parameter.

   • Scheduled time: Atur nilainya menjadi 08:00.

   • Resource Group: Pilih grup sumber daya serverless yang ada.

   • Dependent Upstream Node: Periksa apakah nilai parameter Nama Node Leluhur adalah MaxComputeDataSync.

   • Output Parameters: Di bagian Parameter Input dan Output, klik Create di sebelah kanan Parameter Output untuk menambahkan parameter outputs dari node penugasan. Parameter outputs digunakan sebagai parameter input dari node push data.

     

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 3: Konfigurasikan node push data

Anda dapat mengonfigurasi parameter outputs dari node penugasan sebagai parameter input node push data di bagian Input and Output Parameters. Kemudian, node push data menggunakan parameter masukan untuk mendorong data ke tujuan tertentu.

1. Klik dua kali node MaxComputeDataPush. Di panel navigasi sisi kanan tab konfigurasi node, klik tab Properties. Pada tab Properties, konfigurasikan parameter. Tabel berikut menjelaskan parameter yang harus Anda konfigurasikan.

   Bagian dan parameter		Deskripsi	Cuplikan layar
   Scheduling Parameter	Parameter Name	Atur nilainya menjadi curdate.
   	Parameter Value	Atur nilainya menjadi $[yyyymmddhh:mi:ss].
   Schedule	Scheduling Cycle	Atur nilainya menjadi Hari.
   	Scheduled time	Atur nilai menjadi 08:00. Catatan Dalam contoh ini, pastikan bahwa data dapat dikirim ke tujuan tertentu pada pukul 08:00 setiap hari. Anda dapat mengonfigurasi parameter ini sesuai dengan kebutuhan bisnis Anda.
   	Rerun	Atur nilai menjadi Allow Regardless of Running Status.
   Resource Group	Resource Group	Anda harus memilih grup sumber daya serverless yang dibuat setelah 28 Juni 2024, yaitu tanggal rilis fitur push data. Jika grup sumber daya dibuat sebelum 28 Juni 2024, ajukan Tiket untuk meningkatkan grup sumber daya. Catatan Untuk informasi lebih lanjut tentang catatan rilis, lihat Catatan rilis.
   Input and Output Parameters	Input Parameters	Klik Create untuk menambahkan parameter input. Klik Create. Parameter Name: inputs. Value Source: Pilih parameter outputs dari node MaxComputeDataQuery dari daftar drop-down.

2. Konfigurasikan data untuk didorong.

   • Destination: Pilih tujuan dari daftar drop-down Destination. Jika tidak ada tujuan yang tersedia, klik Create Destination untuk membuat tujuan. Tabel berikut menjelaskan parameter untuk membuat tujuan.

     Parameter	Deskripsi
     Type	Pilih saluran push. DingTalk, Lark, WeCom, dan Teams didukung.
     Name	Masukkan nama berdasarkan kebutuhan bisnis Anda.
     WebHook	Masukkan URL webhook dari saluran push yang Anda pilih. Anda perlu mendapatkan URL dari saluran push terkait di platform yang sesuai. Catatan Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Lark, lihat Gunakan pemicu webhook. Untuk informasi lebih lanjut tentang cara mendapatkan URL webhook Teams, lihat Buat incoming webhooks dengan Workflows untuk Microsoft Teams.

   • Judul: Masukkan Data MaxCompute.

   • Isi: Konfigurasikan konten berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat bagian Konfigurasikan Konten untuk Didorong dari topik Push Data.

     Catatan

     Di bagian Isi, Anda dapat langsung menggunakan nama bidang yang ditanyakan oleh node penugasan sebagai placeholder untuk mendapatkan parameter masukan node push data.

3. Di bilah alat atas, klik ikon untuk menyimpan konfigurasi.

Langkah 5: Uji alur

Setelah Anda mengonfigurasi aliran push data, Anda harus mengujinya sebelum melakukan commit alur kerja dan menerapkan node dalam alur kerja.

1. Klik dua kali alur kerja DataPushDemo.

2. Klik kanan node MaxComputeDataSync dan pilih Jalankan Node Saat Ini dan Node Turunannya.

   Catatan

   Jika sebuah node dalam aliran push data gagal, klik kanan node tersebut dan pilih View Log untuk melihat log.