DataWorks：Push Data

(Opsional) Persiapan

Bagian berikut menjelaskan cara menanyakan data dari tabel MaxCompute dan mendorong data yang ditanyakan ke tujuan tertentu. Dalam contoh ini, tabel bernama sales digunakan. Anda dapat menjalankan tugas push data untuk mendorong jumlah penjualan harian setiap departemen dan perbedaan antara jumlah penjualan hari saat ini dan hari sebelumnya ke tujuan menggunakan saluran push tertentu. Sebelum Anda melakukan operasi selanjutnya, Anda harus membuat tabel bernama sales di lingkungan yang diinginkan. Kode sampel berikut memberikan contoh cara membuat tabel bernama sales dan menyisipkan data ke dalam tabel. Untuk informasi lebih lanjut tentang cara membuat tabel MaxCompute, lihat Buat dan Kelola Tabel MaxCompute.

CREATE TABLE IF NOT EXISTS sales (
    id BIGINT COMMENT 'Pengenal unik',
    department STRING COMMENT 'Nama departemen',
    revenue DOUBLE COMMENT 'Jumlah penjualan'
) PARTITIONED BY (ds STRING);

-- Masukkan data ke partisi.
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (1, 'Departemen 1', 12000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (2, 'Departemen 2', 21000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (3, 'Departemen 3', 5000.00);

INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (1, 'Departemen 1', 11000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (2, 'Departemen 2', 20000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (3, 'Departemen 3', 10000.00); 

Pilih sumber data

Konfigurasikan parameter Datasource Type, Datasource Name, dan Datasource Env.. Anda dapat mengonfigurasi parameter Lingkungan Sumber Data berdasarkan lingkungan tabel yang datanya ingin Anda dorong. Sebelum Anda melakukan operasi selanjutnya, konfirmasikan lingkungan tabel penjualan yang Anda buat di bagian (Opsional) Persiapan.

Tulis pernyataan SQL

• Definisikan data yang ingin Anda dorong dan tanyakan data.

  Di bagian Edit Query SQL, tulis pernyataan SQL untuk kueri tabel tunggal atau multi-tabel untuk mendefinisikan data yang ingin Anda dorong. Contoh:

  -- Tanyakan jumlah penjualan setiap departemen pada 2 Januari 2024.
  SELECT id, department, revenue FROM sales WHERE ds='20240102';
  -- Tanyakan perbedaan antara jumlah penjualan hari saat ini dan hari sebelumnya.
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id AND a.ds > b.ds WHERE a.ds = '20240102'AND b.ds = '20240101';

  Setelah Anda menulis pernyataan SQL, parameter respons secara otomatis ditampilkan di tab Output Parameters tab Parameters. Jika parameter gagal ditampilkan atau tidak valid, Anda dapat mematikan Automatically Parse Parameters dan menambahkan parameter secara manual.

  

  Anda dapat mengonfigurasi variabel dalam format ${Nama Variabel} dalam pernyataan SQL dan menggunakan parameter penugasan untuk memberikan nilai kepada variabel. Parameter penugasan dapat diatur ke ekspresi tanggal dan waktu atau konstanta. Dengan cara ini, nilai variabel secara dinamis diganti dalam kode tugas push data berdasarkan konfigurasi parameter penugasan. Untuk informasi lebih lanjut, lihat Konfigurasikan Konten untuk Didorong.

  -- Secara dinamis tetapkan nilai ke variabel waktu berdasarkan parameter penjadwalan.
  -- Tanyakan jumlah penjualan terbaru setiap departemen setiap hari.
  SELECT id, department, revenue FROM sales WHERE ds='${date}';
  -- Tanyakan perbedaan antara jumlah penjualan hari saat ini dan hari sebelumnya.
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id  and  a.ds > b.ds WHERE a.ds = '${date}' AND b.ds = '${previous_date}';

  

• Lakukan kueri tersegmentasi.

  Jika tabel berisi sejumlah besar data, fitur push data memungkinkan Anda melakukan kueri tersegmentasi menggunakan metode Next Token. Untuk menggunakan metode Next Token, lakukan langkah-langkah berikut: Di sudut kanan atas bagian Edit Query SQL, pilih Code Template dari daftar drop-down Code Help. Dalam kotak dialog Template Kode, klik Sisipkan Kode Template di bagian Next Token.

Konfigurasikan konten untuk didorong

Di bagian Content to Push, konfigurasikan konten yang ingin Anda dorong ke URL webhook tertentu menggunakan Markdown atau tables.

Konfigurasikan parameter Title. Klik Add di sebelah kanan parameter Body, pilih Markdown, Table, atau Email Body, lalu konfigurasikan kontennya. Setelah Anda mengonfigurasi konten yang ingin Anda dorong, Anda dapat mengklik Preview untuk melihat pratinjau konten. Contoh:

Buat tujuan webhook

Dalam kotak dialog Create Destination, konfigurasikan parameter berikut:

• Type: Pilih saluran push. Nilai valid: DingTalk, Lark, WeCom, dan Teams.

• Destination Name: Masukkan nama untuk tujuan.

• Webhook: Masukkan URL webhook saluran push yang Anda pilih.

Buat tujuan email

Sebelum Anda mengonfigurasi data push settings, Anda harus melakukan langkah-langkah berikut untuk membuat tujuan: Di sudut kiri bawah halaman DataService Studio, klik ikon . Pada halaman yang muncul, klik tab Destination Management. Kemudian, klik Create Destination.

Dalam kotak dialog Crete Destination, konfigurasikan parameter berikut:

• Type: Pilih Email.

• Destination Name: Masukkan nama untuk tujuan.

• SMTP Host: Alamat server email.

• SMTP Port: Nomor port server email. Nilai default parameter ini adalah 465. Anda dapat secara manual memodifikasi nomor port.

• Sender Address: Alamat email dari mana email dikirim.

• SMTP Account: Akun email lengkap.

• SMTP Password: Kata sandi akun email.

• Receiver Address: Alamat email ke mana email dikirim.

Konfigurasikan pengaturan push data

Di panel navigasi sisi kanan tugas push data, klik tab Push Settings. Di tab ini, Anda dapat menentukan siklus penjadwalan, grup sumber daya untuk penjadwalan, dan tujuan. Dengan cara ini, sistem secara berkala menjalankan tugas push data untuk mendorong data ke tujuan yang ditentukan. Parameter:

• Parameter terkait siklus penjadwalan: tentukan siklus penjadwalan tugas push data dan waktu spesifik saat tugas push data dijadwalkan.

  Siklus Penjadwalan	Waktu Tertentu	Waktu Penjadwalan	Contoh
  Month	Hari-hari saat tugas push data dijalankan setiap bulan.	Titik waktu saat tugas push data dijadwalkan untuk dijalankan.	Scheduling period: Bulan Specified time: Setiap tanggal 1 bulanan Scheduling time: 08:00 Deskripsi: Tugas push data berjalan pada pukul 08:00 setiap hari pertama setiap bulan.
  Week	Hari-hari saat tugas push data dijalankan setiap minggu.	Titik waktu saat tugas push data dijadwalkan untuk dijalankan.	Scheduling period: Minggu Specified time: Senin Scheduling time: 09:00 Deskripsi: Tugas push data berjalan pada pukul 09:00 setiap Senin.
  Day	null Tugas push data berjalan setiap hari.	Titik waktu saat tugas push data dijadwalkan untuk dijalankan.	Scheduling period: Hari Scheduling time: 08:00 Deskripsi: Tugas push data berjalan pada pukul 08:00 setiap hari.
  Hours	null Anda dapat memilih salah satu dari metode berikut untuk menentukan waktu menjalankan tugas push data: Tentukan interval waktu saat tugas push data berjalan. Tentukan jam dan menit saat tugas push data berjalan.		Tentukan interval Start Time: 02:00 Time interval: 1 End Time: 23:59 Deskripsi: Tugas push data berjalan setiap jam dari 00:00 hingga 23:59 setiap hari. Tentukan jam dan menit Specify hours: 0 dan 1 Specify minutes: 10 Deskripsi: Tugas push data berjalan pada pukul 00:10 dan 01:10 setiap hari.

• Timeout Definition: menentukan periode timeout untuk tugas push data. Jika tugas push data gagal selesai dalam periode timeout yang ditentukan, tugas push data akan dihentikan. Nilai valid:

  • System Default: Secara default, sistem secara dinamis menyesuaikan periode timeout untuk tugas push data berdasarkan beban grup sumber daya yang Anda gunakan. Periode timeout berkisar antara 3 hingga 7 hari. Jika durasi tugas push data melebihi periode timeout yang ditentukan, tugas push data akan dihentikan.

  • Kustom: Anda dapat menentukan periode timeout untuk tugas push data berdasarkan kebutuhan bisnis Anda. Misalnya, Custom dipilih, dan periode timeout tugas push data adalah 1 jam. Jika durasi tugas push data melebihi 1 jam, tugas push data akan dihentikan.

• Effective Date: menentukan periode efektif tugas push data. Tugas push data hanya dijalankan secara otomatis selama periode efektif yang ditentukan. Nilai valid:

  • Permanent: Tugas push data berlaku secara permanen.

  • Specified time: Anda dapat menentukan periode efektif untuk tugas push data berdasarkan kebutuhan bisnis Anda. Misalnya, Specified time dipilih, dan rentang waktunya adalah dari 2024-01-01 hingga 2024-12-31. Tugas push data dijalankan secara otomatis selama periode waktu yang ditentukan.

• Resource Group for Scheduling: menentukan grup sumber daya untuk penjadwalan yang digunakan untuk menjalankan tugas push data. Anda dapat menggunakan grup sumber daya eksklusif untuk penjadwalan atau grup sumber daya serverless. Grup sumber daya serverless adalah grup sumber daya serbaguna. Grup sumber daya untuk penjadwalan menyediakan sumber daya untuk menjalankan tugas push data secara berkala. Untuk informasi lebih lanjut tentang grup sumber daya, lihat Manajemen Grup Sumber Daya.

• Destination: menentukan tujuan. Anda dapat memilih tujuan dari daftar drop-down. Anda dapat mengelola tujuan di tab Destination Management.

  null

  Jika Anda ingin mendorong data ke URL webhook DingTalk, Anda harus memilih Custom Keywords di bagian Security Settings dan klik Tambah untuk menambahkan kata kunci saat Anda menambahkan chatbot DingTalk di grup DingTalk. Konten yang ingin Anda dorong juga harus berisi kata kunci yang Anda tambahkan.

Kelola versi tugas push data

1. Setelah tugas push data lulus uji, klik Submit di bilah alat untuk mengirimkan tugas push data. Jika Anda tidak mengirimkan tugas push data, tugas push data berada dalam keadaan draf, dan tidak ada versi yang dihasilkan.

2. Di panel navigasi sisi kanan, klik tab Version. Di tab ini, temukan versi yang diinginkan dan klik Publish di kolom Actions. Setelah tugas push data diterbitkan, konten yang ingin Anda dorong dapat didorong ke tujuan yang ditentukan berdasarkan pengaturan push.

   Di tab Version, Anda dapat mengelola versi tugas push data.

   Status	Opsi	Prosedur
   Publish	Data Push Task Management	Klik Data Push Task Management di kolom Tindakan untuk melihat detail tugas push data yang diterbitkan. Untuk informasi lebih lanjut, lihat bagian Kelola tugas push data dalam topik ini.
   Can Be Published	Publish	Klik Terbitkan di kolom Tindakan untuk menerbitkan tugas push data versi tertentu.
   	Deprecate	Klik Deprecate di kolom Tindakan untuk menonaktifkan versi tertentu dari tugas push data. Setelah Anda melakukan operasi ini, status tugas push data versi tertentu berubah menjadi Tidak Digunakan.
   Off-Line dan Deprecated	Version Details	Klik Detail Versi untuk melihat konfigurasi dan konten yang didorong dari tugas push data versi tertentu.
   	Roll Back	Klik Kembalikan untuk mengembalikan tugas push data ke versi tertentu.

   null

   Opsi Version Details dan Roll Back tersedia untuk tugas push data dalam keadaan apa pun.

   

Kelola tugas push data

Setelah tugas push data diterbitkan, Anda dapat melakukan langkah-langkah berikut untuk pergi ke halaman Manajemen Tugas Push Data: Di panel navigasi sisi kanan, klik tab Version. Di tab ini, temukan versi yang diinginkan dan klik Data Push Task Management di kolom Actions. Atau, Anda dapat mengklik Service Management. Di panel navigasi sisi kiri halaman yang muncul, klik Data Push Task Management.

Di tab Tugas Push Data halaman Manajemen Tugas Push Data, Anda dapat melihat semua data push tasks yang diterbitkan dan informasi berikut tentang setiap tugas push data: ID, name, data source name, data source environment, node mode, resource group for scheduling, owner, publisher, dan last publish time. Anda juga dapat melakukan operasi pada tugas push data yang diterbitkan. Tabel berikut menjelaskan operasi tersebut.

Uji tugas push data yang diterbitkan

Setelah tugas push data diterbitkan, tugas push data mendorong konten yang Anda konfigurasikan ke tujuan yang ditentukan berdasarkan pengaturan push yang dikonfigurasikan. Anda dapat pergi ke halaman Test Data Push Task dengan menggunakan salah satu metode berikut:

• Metode 1: Klik Service Management. Di panel navigasi sisi kiri, klik Test Data Push Task.

• Metode 2: Klik Service Management. Di panel navigasi sisi kiri, klik Data Push Task Management. Di tab Tugas Push Data halaman Manajemen Tugas Push Data, temukan tugas push data yang diinginkan dan klik Test di kolom Tindakan.

Anda dapat menguji tugas push data yang diterbitkan untuk memeriksa apakah tugas push data mendorong data sesuai harapan dan apakah tujuan yang ditentukan dapat menerima data.