DataWorks:Dorong data

Persiapan (opsional)

Untuk membantu Anda melakukan dorong data dengan cepat, topik ini menggunakan contoh untuk menjelaskan cara mendorong hasil kueri dari tabel MaxCompute. Dalam contoh ini, Anda menggunakan fitur dorong data untuk mengirim data dari tabel bernama sales ke saluran tertentu. Data tersebut mencakup jumlah penjualan harian untuk setiap departemen dan perubahan jumlah penjualan dibandingkan hari sebelumnya. Jika Anda ingin mengikuti langkah-langkah dalam contoh ini, Anda harus terlebih dahulu membuat tabel sales di lingkungan Anda. Kode berikut menyediakan pernyataan untuk membuat tabel sales dan memasukkan data ke dalamnya. Untuk informasi lebih lanjut tentang cara membuat tabel, lihat Buat dan gunakan tabel MaxCompute.

CREATE TABLE IF NOT EXISTS sales (
    id BIGINT COMMENT 'Unique identifier',
    department STRING COMMENT 'Department name',
    revenue DOUBLE COMMENT 'Revenue amount'
) PARTITIONED BY (ds STRING);
-- Insert sample data into partitions
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (1, 'Department 1', 12000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (2, 'Department 2', 21000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (3, 'Department 3', 5000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (1, 'Department 1', 11000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (2, 'Department 2', 20000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (3, 'Department 3', 10000.00);

Pilih sumber data

Pilih Data Source Type, Data Source Name, dan Data Source Environment untuk menentukan lingkungan tabel data untuk dorong data. Anda dapat memilih lingkungan sumber data berdasarkan apakah dorong data ditujukan untuk tabel pengembangan atau tabel produksi. Jika Anda melakukan latihan langsung, pastikan lingkungan tempat tabel sales yang Anda buat pada tahap persiapan berada.

Sebagai contoh, atur Jenis sumber data ke odps, Nama sumber data ke MaxCompute_Source, dan Lingkungan sumber data ke lingkungan produksi. Untuk membuat sumber data baru, klik tautan di bawah bidang Nama sumber data.

Tulis kueri SQL

• Tentukan cakupan data dan ambil data.

  Di bagian Edit Query SQL, gunakan kueri SQL satu tabel atau multi-tabel untuk menentukan data yang akan didorong. Contohnya:

  -- Get the sales revenue for each department on 20240102
  SELECT id, department, revenue FROM sales WHERE ds='20240102';
  -- Get the change in sales revenue compared to the previous day
  SELECT  a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id AND a.ds > b.ds WHERE a.ds = '20240102'AND b.ds = '20240101';

  Setelah Anda menulis SQL, bidang hasil secara otomatis diisi di bagian Parameters > Output Parameters. Jika penguraian parameter output gagal atau salah, Anda dapat menonaktifkan Automatically Parse Parameters dan secara manual Add Parameter.

  Anda juga dapat mengonfigurasi variabel kustom dalam SQL dengan menggunakan format ${variable_name}. Variabel ini merupakan Assignment Parameters(Assignment Parameters dapat diberi ekspresi waktu dan konstanta) untuk menerapkan input parameter dinamis pada kode Anda. Untuk informasi lebih lanjut, lihat Konfigurasi konten dorong.

  -- Use scheduling parameters to dynamically assign time variables.
  -- Get the latest daily sales revenue for each department
  SELECT id, department, revenue FROM sales WHERE ds='${date}';
  -- Get the change in sales revenue compared to the previous day
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id  and  a.ds > b.ds WHERE a.ds = '${date}' AND b.ds = '${previous_date}';

• Kueri terpaginasi.

  Untuk tabel besar, dorong data mendukung kueri terpaginasi menggunakan Next Token. Klik Code Help > Code Template > Next Token di bilah alat editor kode untuk petunjuk penggunaan.

Konfigurasi konten dorong

Di bagian Content to Push, Anda dapat mengedit konten pesan menggunakan format Markdown dan Table. Konten ini akan didorong ke Webhook.

Setelah menyesuaikan judul pesan di bidang Title, klik Add di area isi. Kemudian, pilih Markdown, Table, atau Email Body untuk mengedit konten. Contoh berikut menunjukkan konfigurasi sampel. Anda dapat mengklik Preview di bilah alat untuk melihat format pesan.

Buat tujuan Webhook

Saat Anda mengklik Create Destination, konfigurasikan parameter berikut:

• Type: Pilih jenis saluran. Opsi meliputi DingTalk, Lark, WeCom, dan Teams.

• Destination Name: Masukkan nama kustom untuk tujuan dorong baru.

• Webhook: URL Webhook dari saluran dorong yang dipilih.

Daftar drop-down Type juga mendukung saluran Email. Setelah menyelesaikan konfigurasi, klik OK.

Buat tujuan email

Sebelum mengonfigurasi Push Settings, klik ikon di pojok kiri bawah halaman Service Development untuk membuka panel pengaturan. Beralih ke tab Destination Management, lalu klik Create Destination untuk membuat tujuan.

Saat Anda mengklik Create Destination, Anda harus mengonfigurasi parameter berikut:

• Type: Pilih Email.

• Destination Name: Masukkan nama kustom untuk tujuan dorong baru.

• SMTP Host: Alamat server email.

• SMTP Port: Nomor port server email. Nilai default adalah 465, yang dapat diubah secara manual.

• Sender Address: Alamat pengirim email.

• SMTP Account: Akun email lengkap.

• SMTP Password: Kata sandi untuk akun email.

• Receiver Address: Alamat email tujuan.

Pengaturan Push

Klik Push Settings di sebelah kanan untuk mengonfigurasi siklus penjadwalan, sumber daya penjadwalan, dan tujuan dorong tugas. Item konfigurasi spesifik adalah sebagai berikut:

• Siklus penjadwalan dan konfigurasi waktu jalankan: Konfigurasikan siklus penjadwalan dan waktu spesifik untuk layanan dorong data mendorong konten yang diedit.

  Scheduling cycle	Specified time	Scheduling time	Example
  Month	Tentukan hari dalam bulan untuk menjalankan push task.	Waktu penjadwalan untuk push task data pada hari tersebut.	Scheduling Frequency: Month Specified Time: 1st of every month Data Timestamp: 08:00 Actual run time: Push task dijalankan pukul 08.00 setiap tanggal 1 tiap bulan.
  Week	Tentukan hari dalam minggu untuk menjalankan push task.	Waktu penjadwalan untuk push task data pada hari tersebut.	Scheduling Frequency: Week Specified Time: Monday Data Timestamp: 09:00 Actual run time: Push task dijalankan pukul 09.00 setiap hari Senin.
  Day	Catatan Siklus harian menjadwalkan task untuk dijalankan setiap hari.	Waktu penjadwalan untuk push task data pada hari tersebut.	Scheduling Frequency: Day Data Timestamp: 08:00 Actual run time: Push task dijalankan pukul 08.00 setiap hari.
  Hour	Catatan Anda dapat memilih antara dua mode push: Push dengan interval jam tertentu. Push pada jam dan menit tertentu.		Push at an hourly interval: Start Time: 00:00 Time Interval: 1 hour End Time: 23:59 Actual run time: Push dilakukan setiap jam sekali dari pukul 00.00 hingga 23.59 setiap hari. Push at specified hours and minutes: Hour: 0, 1 Specified Minute: 10 Actual run time: Push dilakukan pukul 00.10 dan 01.10 setiap hari.

• Timeout Definition: Menetapkan batas waktu untuk eksekusi tugas. Tugas dihentikan jika melebihi batas ini.

  • Default Value: Dengan pengaturan Default Value, timeout tugas disesuaikan secara dinamis berdasarkan beban sistem, dengan nilai berkisar antara 3 hingga 7 hari. Tugas yang timeout dihentikan.

  • Contoh: Jika Anda menetapkan timeout Custom selama 1 jam, tugas dorong dihentikan jika berjalan lebih dari 1 jam setelah waktu mulai yang dijadwalkan.

• Valid From: Konfigurasikan rentang waktu selama tugas dorong data aktif.

  • Permanent: Tugas dorong data tetap berlaku secara permanen dan tidak dibatasi oleh rentang tanggal efektif.

  • Example: Jika Anda mengonfigurasi rentang Specified Time dari 2024-01-01 hingga 2024-12-31, tugas dorong dijalankan sesuai siklus penjadwalan yang dikonfigurasi dalam periode ini.

• Resource Group for Scheduling: Anda dapat mengonfigurasi Exclusive resource group for scheduling atau serverless resource group (kelompok sumber daya serbaguna) untuk menyediakan sumber daya penjadwalan bagi tugas dorong data. Untuk informasi lebih lanjut tentang kelompok sumber daya, lihat Manajemen Kelompok Sumber Daya.

• Push Every Time: Mengontrol apakah notifikasi dorong dikirim saat kueri SQL tidak mengembalikan data.

  • Diaktifkan (default): Dorong dieksekusi pada setiap jadwal, terlepas dari apakah kueri mengembalikan data atau tidak.

  • Dimatikan: Jika semua variabel yang digunakan dalam konten dorong, kecuali parameter input, kosong, pesan tidak dikirim. Anda dapat menggunakan klausa WHERE atau HAVING dalam SQL untuk memfilter data. Jika kondisi filter tidak terpenuhi dan hasil kueri kosong, tugas dorong secara otomatis dilewati dan pesan tidak dikirim.

• Destination: Anda dapat mendorong konten yang dikonfigurasi ke tujuan yang dipilih. Anda hanya dapat memilih dari tujuan dorong yang sudah ada, yang dikonfigurasi di Data Push Task Management.

  Catatan

  Saat mendorong ke Webhook DingTalk, Anda harus menambahkan kata kunci di bagian Security Settings > Custom Keywords pada konfigurasi bot. Pastikan konten dorong mencakup kata kunci ini agar dorong berhasil.

Manage versi tugas

1. Setelah Anda memastikan bahwa pengujian selama pengembangan berhasil, klik Submit. Jika tugas dorong tidak diajukan, tugas tersebut tetap dalam status draf dan tidak menghasilkan versi baru.

2. Setelah Anda mengajukan layanan, versi baru dihasilkan. Di panel Version di sebelah kanan, temukan versi yang diajukan yang berstatus Can Be Published dan klik Publish. Menerbitkan tugas mengaktifkan jadwalnya sesuai yang ditentukan di Push Settings.

   Di panel Version, kelola tugas dorong data sebagai berikut.

   Status	Actions	Description
   Publish	Data Push Task Management	Buka halaman Data Push Task Management, tempat Anda dapat melihat informasi detail tentang task yang telah dipublikasikan. Untuk informasi selengkapnya, lihat Manage data push tasks.
   Can Be Published	Publish	Memublikasikan versi task yang sesuai.
   	Abandoned	Membuang versi task yang sesuai dan mengubah statusnya menjadi Abandoned.
   Off-Line, Abandoned	Version Details	Menampilkan informasi konfigurasi dan konten push yang sesuai untuk versi task push data tersebut.
   	Roll Back	Memulihkan versi ini sehingga menjadi konfigurasi saat ini.

   Catatan

   Operasi Version Details dan Roll Back tersedia dan berfungsi identik untuk tugas dalam semua status.

Manage tugas dorong

Setelah tugas dorong data berhasil diterbitkan, klik Data Push Task Management di kolom Operation panel Version, atau navigasikan ke halaman daftar Data Push Tasks melalui jalur Service Management > Data Push Task Management.

Halaman ini mencantumkan semua Data Push Tasks yang diterbitkan dan menampilkan detail seperti ID, Name, Data Source Name, Data Source Environment, Node Mode, Resource Group for Scheduling, Owner, Deployer, dan Published Time. Di kolom Operation, lakukan operasi berikut pada tugas dorong data yang diterbitkan:

Uji tugas yang diterbitkan

Buka halaman Data Push Test dengan salah satu cara berikut:

• Metode 1: Pilih Service Management > Test Data Push Task.

• Metode 2: Pilih Service Management > Data Push Task Management > Data Push Tasks.

Menguji tugas yang diterbitkan memastikan bahwa tugas tersebut berjalan dengan benar dan tujuan menerima data sesuai harapan.

Di halaman Data Push Test, pilih atau cari tugas dorong data target dari daftar drop-down, centang kotak Push to Destination jika diperlukan, lalu klik Start Test.