Cara mengonfigurasi dan menggunakan parameter penjadwalan - DataWorks

Dalam alur kerja data, kode tugas seperti SQL sering kali perlu berubah secara dinamis berdasarkan waktu penjadwalan untuk memproses partisi data yang berbeda. Untuk menghindari modifikasi manual pada kode, Anda dapat menggunakan parameter penjadwalan. Dengan mendefinisikan placeholder dalam kode, sistem secara otomatis menggantinya dengan nilai dinamis seperti Waktu data dan waktu penjadwalan saat tugas dijalankan. Pendekatan ini memungkinkan eksekusi alur kerja yang terotomatisasi dan diparameterisasi.

Proses konfigurasi inti

Untuk menggunakan parameter penjadwalan, Anda harus mendefinisikan parameter dan memberikan nilainya di Scheduling. Setelah kode lolos pengujian di DataStudio, kirimkan kode yang berisi parameter penjadwalan ke Operation Center. Sistem kemudian secara otomatis menjadwalkan tugas dan mengganti nilai parameter secara dinamis berdasarkan logika pemberian nilai.

Langkah	Tindakan	Tujuan
1. Definisikan parameter	Dalam kode node, definisikan satu atau beberapa parameter dengan format `${param}`.	Menyediakan placeholder untuk nilai dinamis.
2. Konfigurasi parameter	Di panel Scheduling > Scheduling Parameter node, berikan nilai pada variabel dalam kode.	Mengaitkan placeholder `${param}` dengan parameter penjadwalan tertentu, seperti `$bizdate` atau `$[yyyymmdd-1]`.
3. Uji	Gunakan fitur Perform Smoke Testing untuk mensimulasikan Waktu data tertentu dan memverifikasi bahwa parameter diganti serta kode dijalankan dengan benar.	Memastikan konfigurasi sudah benar di lingkungan pengembangan.
4. Terapkan dan verifikasi	Terapkan node ke lingkungan produksi dan konfirmasi konfigurasi parameter akhir di Operation Center.	Memastikan parameter untuk tugas produksi berfungsi sesuai harapan.

Prosedur

1. Definisikan parameter

Klik ganda node target, seperti node ODPS SQL, untuk membuka editor node.

Dalam kode node ODPS SQL atau node berbasis SQL lainnya, definisikan nama parameter dengan sintaks ${param}. DataWorks merekomendasikan penggunaan nama parameter deskriptif agar lebih mudah dirujuk dan dikelola.

Sintaks parameter penjadwalan:

Jenis	Sintaks	Keberlakuan	Catatan
Format umum	`${parameter_name}`	Berlaku untuk sebagian besar jenis node, seperti ODPS SQL dan node sinkronisasi data.	Ini adalah format yang paling umum.
Format khusus	Bervariasi tergantung jenis node dan tidak menggunakan format `${...}`.	PyODPS dan Shell	Untuk informasi selengkapnya, lihat Contoh konfigurasi parameter penjadwalan untuk berbagai jenis node.

-- Contoh: Definisikan variabel bernama pt_date untuk filter partisi.
SELECT * FROM my_table WHERE ds = '${pt_date}';

Di panel kanan, klik Scheduling untuk membuka bagian Scheduling Parameter.
Konfigurasikan parameter penjadwalan seperti yang dijelaskan di bagian berikutnya.

2. Konfigurasi parameter

Anda dapat mengatur parameter penjadwalan dalam mode Visual definition atau Define by expression. Anda dapat beralih antar mode ini dengan mengklik Define by expression di pojok kanan atas daftar parameter. Mode Visual definition merupakan mode default.

Konfigurasi parameter
Mode visual

Klik Scheduling di panel kanan untuk membuka panel konfigurasi parameter penjadwalan.
- Tambahkan parameter
  
  Klik Scheduling di sebelah kanan node dan tambahkan parameter di bagian Scheduling Parameter. Anda dapat menambahkan parameter dengan salah satu dari dua cara berikut.
  1. Klik Add Parameter dan masukkan nama serta nilai secara manual. Nama parameter harus sama dengan nama variabel yang didefinisikan dalam kode.
  2. Klik Load Parameters in Code. DataWorks secara otomatis mengurai variabel dalam kode Anda, seperti ${pt_date}, dan mengisinya dalam daftar parameter. Anda hanya perlu memasukkan nilai untuk setiap parameter.
- Berikan nilai
  
  Anda dapat memberikan nilai berupa parameter bawaan, variabel waktu kustom, atau konstanta.
  - Klik kotak input. Daftar drop-down akan muncul berisi ekspresi parameter yang umum digunakan yang dapat Anda pilih langsung. Anda juga dapat memasukkan ekspresi kustom atau variabel bawaan secara manual.
  - Anda dapat memasukkan nilai sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya tentang format nilai yang didukung, lihat Format parameter penjadwalan yang didukung.
Mode ekspresi

Klik Define by expression untuk beralih ke mode Ekspresi. Gunakan mode ini jika Anda lebih suka mengonfigurasi parameter dengan ekspresi.
- Dalam mode Ekspresi, pisahkan beberapa parameter dengan spasi.
- Saat Anda menambahkan, menghapus, atau memodifikasi parameter penjadwalan di Define by expression, DataWorks memvalidasi sintaks ekspresi tersebut. Jika sintaks tidak valid, parameter tidak dapat dikonfigurasi.
  
  Sebagai contoh, DataWorks menerapkan aturan seperti tidak boleh ada spasi di kedua sisi tanda sama dengan (=).
Pratinjau parameter

Setelah Anda mendefinisikan parameter, klik Preview Scheduling Parameters untuk melihat bagaimana parameter akan diselesaikan untuk instans mendatang berdasarkan Waktu data yang ditentukan. Hal ini membantu Anda menguji apakah definisi sudah benar. Anda dapat menyesuaikan Waktu data dan jumlah instans yang akan dipratinjau.

Catatan

Beberapa node, seperti node sinkronisasi batch, memiliki parameter default ${bizdate}. Parameter ini secara otomatis diberi nilai $bizdate. Anda dapat mengganti parameter bizdate dengan nama kustom dalam kode Anda. Nama ${bizdate} itu sendiri tidak memiliki makna khusus dan diperlakukan sama seperti parameter kustom lainnya.

3. Pengujian asap

Setelah Anda memberikan nilai pada parameter penjadwalan, gunakan fitur pengujian asap. Fitur ini memungkinkan Anda menetapkan Waktu data dan mensimulasikan cara tugas dijalankan, sehingga membantu memverifikasi bahwa kode dieksekusi dan parameter penjadwalan diganti sesuai harapan. Jika hasilnya tidak sesuai harapan, segera sesuaikan konfigurasi untuk menghindari masalah pada eksekusi terjadwal.

Pengujian asap menghasilkan instans, yang akan dikenai biaya. Untuk informasi selengkapnya tentang penetapan harga instans, lihat Penagihan kelompok sumber daya arsitektur tanpa server.

Komit kode node.
1. Konfigurasikan waktu penjadwalan dan dependensi penjadwalan.
2. Klik ikon Save . Setelah kode dan konfigurasi disimpan, klik ikon Commit untuk mengirimkan kode dan konfigurasi terbaru ke Operation Center. Anda hanya dapat menggunakan fitur pengujian asap di lingkungan pengembangan setelah node dikomit.
  
  Catatan
  Jika Anda menemukan bahwa pengujian asap tidak menjalankan kode atau parameter terbaru, komit ulang node tersebut.
Jalankan pengujian asap.

Klik ikon Smoke Testing di bilah alat. Di kotak dialog Perform Smoke Testing, pilih Waktu data dan klik OK untuk memulai pengujian.
Lihat log pengujian asap.
1. Di jendela Smoke Testing Records yang muncul, temukan catatan terbaru dan klik View Log.
2. Periksa output parameter di log untuk memastikan nilainya sudah benar.
  
  Catatan
  Jika Anda tidak sengaja menutup jendela tersebut, Anda dapat membukanya kembali dengan mengklik ikon Smoke Testing Logs di bilah alat.

Penting

Fitur Run dan Advanced Run mengharuskan Anda memberikan nilai konstanta secara manual pada variabel dalam kode. Oleh karena itu, fitur ini tidak dapat digunakan untuk memverifikasi apakah parameter penjadwalan telah dikonfigurasi dengan benar.

4. Terapkan dan verifikasi

Setelah verifikasi di lingkungan pengembangan, Anda dapat menerapkan tugas ke Operation Center untuk eksekusi terjadwal di produksi. Setelah penerapan, periksa parameter penjadwalan di lingkungan produksi untuk mencegah error saat runtime.

Catatan

Jika parameter penjadwalan untuk Tugas yang dipicu otomatis tidak dikonfigurasi sesuai harapan, atau jika Anda tidak dapat menemukan tugas di Operation Center, pastikan bahwa tugas telah berhasil diterapkan. Untuk informasi selengkapnya tentang cara menerapkan tugas, lihat Menerapkan tugas.

Periksa definisi parameter.

Buka Operation Center, alihkan ke Wilayah dan ruang kerja target, lalu buka halaman Auto Triggered Task O&M > Periodic tasks. Di daftar tugas, klik nama tugas dan periksa Property di panel Property untuk memastikan konfigurasinya sudah benar.
Lakukan pengujian asap di Operation Center.

Anda juga dapat menggunakan pengujian asap di Operation Center untuk memastikan bahwa tugas yang telah diterapkan mengganti parameter dan mengeksekusi kode sesuai harapan di lingkungan produksi. Untuk informasi selengkapnya, lihat Jalankan pengujian dan lihat instans pengujian.

Penting
Perhatikan bahwa pengujian asap dijalankan pada data produksi sesungguhnya. Lakukan dengan hati-hati untuk menghindari kerusakan data di database produksi Anda.
Amati hasil penjadwalan aktual.

Setelah tugas dijadwalkan secara otomatis, Anda dapat memverifikasi bahwa parameter telah diganti dengan benar dengan memeriksa parameter instans yang dipicu otomatis di Auto Triggered Instances.

Contoh konfigurasi lengkap

Contoh ini menggunakan node ODPS SQL untuk menunjukkan cara menggunakan fitur Perform smoke test in development environment di lingkungan pengembangan untuk menguji apakah parameter penjadwalan yang dikonfigurasi berfungsi sesuai harapan. Setelah tugas diterapkan, Anda juga akan memeriksa konfigurasi parameter penjadwalannya di Operation Center.

Catatan

Untuk informasi tentang cara mengonfigurasi parameter penjadwalan untuk berbagai jenis node, lihat Contoh konfigurasi parameter penjadwalan untuk berbagai jenis node.

Edit kode node dan konfigurasikan parameter penjadwalan.

Gambar berikut menunjukkan kode dan konfigurasi parameter penjadwalan node ODPS SQL.
1. Definisikan variabel dalam kode.
```
-- Berikan nilai menggunakan parameter bawaan
SELECT '${var1}';
SELECT '${var2}';
-- Berikan nilai menggunakan parameter kustom
SELECT '${var3}';
SELECT '${var4}';
-- Berikan nilai konstanta
SELECT '${var5}';
```
2. Berikan nilai pada variabel.
  Di panel Scheduling > Scheduling Parameter, berikan nilai pada variabel (Area 2). Untuk informasi selengkapnya tentang format nilai, lihat Format parameter penjadwalan yang didukung.
  - var1=$bizdate: Memberikan Waktu data dalam format yyyymmdd.
  - var2=$cyctime: Memberikan waktu proses terjadwal dalam format yyyymmddhh24miss.
  - var3=${yyyymmdd}: Memberikan Waktu data dalam format yyyymmdd.
  - var4=$[yyyymmddhh24miss]: Memberikan waktu proses terjadwal dalam format yyyymmddhh24miss.
  - var5=Hangzhou: Memberikan konstanta Hangzhou ke var5.
3. Opsi: Konfigurasi waktu penjadwalan.
  Konfigurasikan node ODPS SQL untuk dijalankan setiap jam (Area 3).
  
  Catatan
  Anda dapat memilih apakah akan mengonfigurasi penjadwalan berbasis waktu sesuai kebutuhan Anda. Contoh ini menunjukkan cara mengonfigurasi penjadwalan per jam.
  - Waktu mulai: 16:00
  - Waktu selesai: 23:59
  - Interval: 1 jam
  Untuk informasi selengkapnya tentang mengonfigurasi penjadwalan berbasis waktu, lihat Konfigurasi properti waktu.
4. Tetapkan dependensi penjadwalan.
  
  Konfigurasikan dependensi penjadwalan untuk node tersebut. Untuk informasi selengkapnya, lihat Konfigurasi dependensi penjadwalan. Dalam contoh ini, node root digunakan sebagai dependensi hulu untuk node ini.
Di bilah alat atas halaman editor node, klik ikon lalu ikon untuk menyimpan dan mengommit konfigurasi node ODPS SQL.
Lakukan pengujian asap di lingkungan pengembangan.
1. Klik ikon . Di kotak dialog Smoke Testing in Development Environment, konfigurasikan Waktu data untuk mensimulasikan jadwal node.
  Waktu data dikonfigurasi sebagai berikut:
  - Waktu data: 2025-10-16
  - Waktu Mulai: 16:00
  - Waktu Selesai: 17:00
  Karena tugas ODPS SQL dijadwalkan berjalan setiap jam, tugas tersebut akan menghasilkan dua instans pada pukul 16:00 dan 17:00 pada tanggal 2025-10-17.
  
  Catatan
  Waktu data biasanya satu hari sebelum waktu proses. Oleh karena itu, waktu proses aktual tugas adalah 2025-10-17.
  
  Nilai yang diharapkan untuk instans pukul 16:00 adalah:
  - var1=20251016
  - var2=20251017160000
  - var3=20251016
  - var4=20251017160000
  Nilai yang diharapkan untuk instans pukul 17:00 adalah:
  - var1=20251016
  - var2=20251017170000
  - var3=20251016
  - var4=20251017170000
2. Klik OK. Node mulai berjalan pada waktu yang ditentukan.
3. Setelah eksekusi selesai, klik ikon untuk melihat log pengujian asap.
  
  Dua instans yang dihasilkan untuk node tersebut berhasil dijalankan, dan hasilnya sesuai harapan.
Jika ruang kerja Anda berada dalam mode standar, Anda harus menerapkan node ke lingkungan produksi. Di halaman editor node ODPS SQL, klik Deploy di pojok kanan atas untuk menerapkan node tersebut. Untuk informasi selengkapnya, lihat Menerapkan tugas.
Buka Operation Center untuk mengonfirmasi konfigurasi parameter penjadwalan node tersebut.
1. Di bilah menu atas DataStudio, klik Operation Center di pojok kanan atas.
2. Di halaman Auto Triggered Task O&M > Periodic tasks, cari node target.
  
  Catatan
  Anda hanya dapat menemukan node di halaman ini setelah node berhasil diterapkan.
3. Klik nama node target dan lihat Execution Parameters di panel Property.
  
  Dalam contoh ini, parameter eksekusi untuk node tersebut adalah var1=$bizdate var2=$cyctime var3=${yyyymmdd} var4=$[yyyymmddhh24miss].
4. Amati penggantian parameter aktual dalam instans yang sedang berjalan. Setelah instans terjadwal dihasilkan, buka halaman Auto Triggered Instances, cari nama tugas, klik nama instans, dan lihat Execution Parameters di panel Property.
  
  Dalam contoh ini, parameter eksekusi diselesaikan menjadi var1=20251016 var2=20251017160000 var3=20251016 var4=20251017160000.

DataWorks:Konfigurasi dan gunakan parameter penjadwalan

Proses konfigurasi inti

Prosedur

1. Definisikan parameter

2. Konfigurasi parameter

Mode visual

Mode ekspresi

3. Pengujian asap

4. Terapkan dan verifikasi

Contoh konfigurasi lengkap

Topik terkait