DataWorks:Dorong data

Persiapan (opsional)

Untuk membantu Anda melakukan dorong data dengan cepat, topik ini menggunakan contoh untuk menjelaskan cara mendorong hasil kueri dari tabel MaxCompute. Dalam contoh ini, Anda menggunakan fitur dorong data untuk mengirim data dari tabel bernama sales ke saluran tertentu. Data tersebut mencakup jumlah penjualan harian untuk setiap departemen dan perubahan jumlah penjualan dibandingkan hari sebelumnya. Jika Anda ingin mengikuti langkah-langkah dalam contoh ini, Anda harus terlebih dahulu membuat tabel sales di lingkungan Anda. Kode berikut menyediakan pernyataan untuk membuat tabel sales dan memasukkan data ke dalamnya. Untuk informasi lebih lanjut tentang cara membuat tabel, lihat Buat dan gunakan tabel MaxCompute.

CREATE TABLE IF NOT EXISTS sales (
    id BIGINT COMMENT 'Unique identifier',
    department STRING COMMENT 'Department name',
    revenue DOUBLE COMMENT 'Revenue amount'
) PARTITIONED BY (ds STRING);
-- Insert sample data into partitions
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (1, 'Department 1', 12000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (2, 'Department 2', 21000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (3, 'Department 3', 5000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (1, 'Department 1', 11000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (2, 'Department 2', 20000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (3, 'Department 3', 10000.00);

Pilih sumber data

Pilih Data Source Type, Data Source Name, dan Data Source Environment untuk menentukan lingkungan tabel data untuk dorong data. Anda dapat memilih lingkungan sumber data berdasarkan apakah dorong data ditujukan untuk tabel pengembangan atau tabel produksi. Jika Anda melakukan latihan praktis, pastikan lingkungan tempat tabel sales yang Anda buat pada tahap persiapan berada.

Sebagai contoh, atur Data source type ke odps, Data source name ke MaxCompute_Source, dan Data source environment ke lingkungan produksi. Untuk membuat sumber data baru, klik tautan di bawah bidang Data source name.

Tulis kueri SQL

• Tentukan cakupan data dan ambil data.

  Di bagian Edit Query SQL, gunakan kueri SQL satu tabel atau multi-tabel untuk menentukan data yang akan didorong. Contohnya:

  -- Get the sales revenue for each department on 20240102
  SELECT id, department, revenue FROM sales WHERE ds='20240102';
  -- Get the change in sales revenue compared to the previous day
  SELECT  a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id AND a.ds > b.ds WHERE a.ds = '20240102'AND b.ds = '20240101';

  Setelah Anda menulis SQL, bidang hasil secara otomatis diisi di bagian Parameters > Output Parameters. Jika penguraian parameter output gagal atau tidak sesuai, Anda dapat menonaktifkan Automatically Parse Parameters dan secara manual Add Parameter.

  Anda juga dapat mengonfigurasi variabel kustom dalam SQL dengan menggunakan format ${variable_name}. Variabel ini merupakan Assignment Parameters(Assignment Parameters dapat diberi ekspresi waktu dan konstanta) untuk menerapkan input parameter dinamis pada kode Anda. Untuk informasi lebih lanjut, lihat Konfigurasi konten dorong.

  -- Use scheduling parameters to dynamically assign time variables.
  -- Get the latest daily sales revenue for each department
  SELECT id, department, revenue FROM sales WHERE ds='${date}';
  -- Get the change in sales revenue compared to the previous day
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id  and  a.ds > b.ds WHERE a.ds = '${date}' AND b.ds = '${previous_date}';

• Kueri terpaginasi.

  Untuk tabel besar, dorong data mendukung kueri terpaginasi menggunakan Next Token. Klik Code Help > Code Template > Next Token di bilah alat editor kode untuk petunjuk penggunaan.

Konfigurasikan konten push

Di bagian Content to Push, Anda dapat mengedit konten pesan menggunakan format Markdown dan Table. Konten ini akan didorong ke Webhook.

Setelah menyesuaikan judul pesan di bidang Title, klik Add di area isi. Kemudian, pilih Markdown, Table, atau Email Body untuk mengedit konten. Contoh berikut menunjukkan konfigurasi sampel. Anda dapat mengklik Preview di bilah alat untuk melihat format pesan.

Buat tujuan Webhook

Saat Anda mengklik Create Destination, konfigurasikan parameter berikut:

• Type: Pilih jenis saluran. Opsi termasuk DingTalk, Lark, WeCom, dan Teams.

• Destination Name: Masukkan nama kustom untuk tujuan dorong baru.

• Webhook: URL Webhook dari saluran dorong yang dipilih.

Daftar drop-down Type juga mendukung saluran Email. Setelah menyelesaikan konfigurasi, klik OK.

Buat tujuan email

Sebelum mengonfigurasi Push Settings, klik ikon di pojok kiri bawah halaman Service Development untuk membuka panel pengaturan. Beralih ke tab Destination Management, lalu klik Create Destination untuk membuat tujuan.

Saat Anda mengklik Create Destination, Anda harus mengonfigurasi parameter berikut:

• Type: Pilih Email.

• Destination Name: Masukkan nama kustom untuk tujuan dorong baru.

• SMTP Host: Alamat server email.

• SMTP Port: Nomor port server email. Nilai default adalah 465, yang dapat diubah secara manual.

• Sender Address: Alamat pengirim email.

• SMTP Account: Akun email lengkap.

• SMTP Password: Kata sandi untuk akun email.

• Receiver Address: Alamat email tujuan.

Pengaturan Push

Klik Push Settings di sebelah kanan untuk mengonfigurasi siklus penjadwalan, sumber daya penjadwalan, dan tujuan dorong tugas. Item konfigurasi spesifik adalah sebagai berikut:

• Konfigurasi siklus penjadwalan dan waktu jalankan: Konfigurasikan siklus penjadwalan dan waktu spesifik untuk layanan dorong data mendorong konten yang diedit.

  Siklus penjadwalan	Waktu yang ditentukan	Waktu penjadwalan	Contoh
  Month	Tentukan hari dalam bulan untuk menjalankan tugas dorong.	Waktu penjadwalan untuk tugas dorong data pada hari dorong.	Scheduling Frequency: Bulanan Specified Time: Tanggal 1 setiap bulan Data Timestamp: 08:00 Waktu jalankan aktual: Tugas dorong dijalankan pada pukul 08:00 tanggal 1 setiap bulan.
  Week	Tentukan hari dalam minggu untuk menjalankan tugas dorong.	Waktu penjadwalan untuk tugas dorong data pada hari dorong.	Scheduling Frequency: Minggu Specified Time: Senin Data Timestamp: 09:00 Waktu jalankan aktual: Tugas dorong dijalankan pada pukul 09:00 setiap Senin.
  Day	Catatan Siklus harian menjadwalkan tugas untuk dijalankan setiap hari.	Waktu penjadwalan untuk tugas dorong data pada hari dorong.	Scheduling Frequency: Hari Data Timestamp: 08:00 Waktu jalankan aktual: Tugas dorong dijalankan pada pukul 08:00 setiap hari.
  Hour	Catatan Anda dapat memilih antara dua mode dorong: Dorong pada interval jam tertentu. Dorong pada jam dan menit tertentu.		Dorong pada interval jam: Start Time: 00:00 Time Interval: 1 jam End Time: 23:59 Waktu jalankan aktual: Dorong sekali setiap jam dari 00:00 hingga 23:59 setiap hari. Push pada jam dan menit yang ditentukan: Hour: 0, 1 Specified Minute: 10 Waktu proses aktual: Push dilakukan pada pukul 00.10 dan 01.10 setiap hari.

• Timeout Definition: Menetapkan batas waktu untuk eksekusi tugas. Tugas akan dihentikan jika melebihi batas ini.

  • Default Value: Dengan pengaturan Default Value, timeout tugas disesuaikan secara dinamis berdasarkan beban sistem, dengan nilai berkisar antara 3 hingga 7 hari. Tugas yang timeout akan dihentikan.

  • Contoh: Jika Anda menetapkan timeout Custom selama 1 jam, tugas dorong akan dihentikan jika berjalan lebih dari 1 jam setelah waktu mulai yang dijadwalkan.

• Valid From: Konfigurasikan rentang waktu selama tugas dorong data aktif.

  • Permanent: Tugas dorong data tetap berlaku secara permanen dan tidak dibatasi oleh rentang tanggal berlaku.

  • Example: Jika Anda mengonfigurasi rentang Specified Time dari 2024-01-01 hingga 2024-12-31, tugas dorong dijalankan sesuai siklus penjadwalan yang dikonfigurasi dalam periode ini.

• Resource Group for Scheduling: Anda dapat mengonfigurasi Exclusive resource group for scheduling atau serverless resource group (kelompok sumber daya serbaguna) untuk menyediakan sumber daya penjadwalan bagi tugas dorong data. Untuk informasi lebih lanjut tentang kelompok sumber daya, lihat Manajemen Kelompok Sumber Daya.

• Push Every Time: Mengontrol apakah notifikasi dorong dikirim saat kueri SQL tidak mengembalikan data.

  • Diaktifkan (default): Dorong dieksekusi pada setiap jadwal, terlepas dari apakah kueri mengembalikan data atau tidak.

  • Dimatikan: Jika semua variabel yang digunakan dalam konten dorong, kecuali parameter input, kosong, pesan tidak dikirim. Anda dapat menggunakan klausa WHERE atau HAVING dalam SQL untuk memfilter data. Jika kondisi filter tidak terpenuhi dan hasil kueri kosong, tugas dorong secara otomatis dilewati dan tidak ada pesan yang dikirim.

• Destination: Anda dapat mendorong konten yang dikonfigurasi ke tujuan yang dipilih. Anda hanya dapat memilih dari tujuan dorong yang sudah ada, yang dikonfigurasi di Data Push Task Management.

  Catatan

  Saat mendorong ke Webhook DingTalk, Anda harus menambahkan kata kunci di bagian Security Settings > Custom Keywords pada konfigurasi bot. Pastikan konten dorong mencakup kata kunci ini agar dorong berhasil.

Atur versi tugas

1. Setelah Anda memastikan bahwa pengujian selama pengembangan berhasil, klik Submit. Jika tugas dorong tidak diajukan, tugas tetap dalam status draf dan tidak menghasilkan versi baru.

2. Setelah Anda mengajukan layanan, versi baru dihasilkan. Di panel Version di sebelah kanan, temukan versi yang diajukan yang berstatus Can Be Published dan klik Publish. Menerbitkan tugas mengaktifkan jadwalnya sebagaimana ditentukan di Push Settings.

   Di panel Version, kelola tugas dorong data sebagai berikut.

   Status	Actions	Description
   Publish	Data Push Task Management	Masuk ke halaman Data Push Task Management, tempat Anda dapat melihat informasi detail tentang task yang telah dipublikasikan. Untuk informasi selengkapnya, lihat Manage data push tasks.
   Can Be Published	Publish	Memublikasikan versi task yang sesuai.
   	Abandoned	Membuang versi task yang sesuai dan mengubah statusnya menjadi Abandoned.
   Off-Line, Abandoned	Version Details	Menampilkan informasi konfigurasi dan konten push yang sesuai untuk versi task push data tersebut.
   	Roll Back	Memulihkan versi ini sehingga menjadi konfigurasi saat ini.

   Catatan

   Operasi Version Details dan Roll Back tersedia dan berfungsi identik untuk tugas dalam semua status.

Atur tugas dorong

Setelah tugas dorong data berhasil diterbitkan, klik Data Push Task Management di kolom Operation panel Version, atau navigasi ke halaman daftar Data Push Tasks melalui jalur Service Management > Data Push Task Management.

Halaman ini mencantumkan semua Data Push Tasks yang diterbitkan dan menampilkan detail seperti ID, Name, Data Source Name, Data Source Environment, Node Mode, Resource Group for Scheduling, Owner, Deployer, dan Published Time. Di kolom Operation, lakukan operasi berikut pada tugas dorong data yang diterbitkan:

Uji tugas yang diterbitkan

Buka halaman Data Push Test dengan salah satu cara berikut:

• Metode 1: Pilih Service Management > Test Data Push Task.

• Metode 2: Pilih Service Management > Data Push Task Management > Data Push Tasks.

Menguji tugas yang diterbitkan memastikan bahwa tugas berjalan dengan benar dan tujuan menerima data sesuai harapan.

Di halaman Data Push Test, pilih atau cari tugas dorong data target dari daftar drop-down, centang kotak Push to Destination jika diperlukan, lalu klik Start Test.