Dalam alur kerja data, kode tugas seperti SQL sering kali perlu berubah secara dinamis berdasarkan waktu penjadwalan untuk memproses partisi data yang berbeda. Untuk menghindari modifikasi kode secara manual, Anda dapat menggunakan parameter penjadwalan. Dengan mendefinisikan placeholder dalam kode, sistem secara otomatis menggantinya dengan nilai dinamis seperti Waktu data dan waktu penjadwalan saat tugas dijalankan. Pendekatan ini memungkinkan eksekusi alur kerja yang terotomatisasi dan terparameterisasi.
Proses konfigurasi inti
Untuk menggunakan parameter penjadwalan, Anda harus mendefinisikan parameter tersebut dan memberikan nilainya di panel Scheduling. Setelah kode lolos pengujian di DataStudio, kirimkan kode yang berisi parameter penjadwalan ke Operation Center. Sistem kemudian secara otomatis menjadwalkan tugas dan mengganti nilai parameter secara dinamis berdasarkan logika pemberian nilai.
|
Langkah |
Tindakan |
Tujuan |
|
1. Definisikan parameter |
Dalam kode node, definisikan satu atau beberapa parameter dengan menggunakan format |
Menyediakan placeholder untuk nilai dinamis. |
|
2. Konfigurasi parameter |
Di panel dari node tersebut, berikan nilai pada variabel dalam kode. |
Mengaitkan placeholder |
|
3. Uji |
Gunakan fitur Perform Smoke Testing untuk mensimulasikan Waktu data tertentu dan memverifikasi bahwa parameter diganti serta kode berjalan dengan benar. |
Memastikan konfigurasi sudah benar di lingkungan pengembangan. |
|
4. Terapkan dan verifikasi |
Terapkan node ke lingkungan produksi dan konfirmasi konfigurasi parameter akhir di Operation Center. |
Memastikan parameter untuk tugas produksi berfungsi sesuai harapan. |
Prosedur
1. Definisikan parameter
-
Klik ganda node target, seperti node ODPS SQL, untuk membuka editor node.
-
Dalam kode node ODPS SQL atau node berbasis SQL lainnya, definisikan nama parameter dengan menggunakan sintaksis
${param}. DataWorks merekomendasikan penggunaan nama parameter deskriptif agar lebih mudah dirujuk dan dikelola.Sintaksis parameter penjadwalan:
Jenis
Sintaksis
Keberlakuan
Catatan
Format umum
${parameter_name}Berlaku untuk sebagian besar jenis node, seperti ODPS SQL dan node sinkronisasi data.
Ini adalah format paling umum.
Format khusus
Bervariasi berdasarkan jenis node dan tidak menggunakan format
${...}.PyODPS dan Shell
Untuk informasi selengkapnya, lihat Contoh konfigurasi parameter penjadwalan untuk berbagai jenis node.
-- Contoh: Definisikan variabel bernama pt_date untuk filter partisi. SELECT * FROM my_table WHERE ds = '${pt_date}'; -
Di panel kanan, klik Scheduling untuk menuju bagian Scheduling Parameter.
-
Konfigurasikan parameter penjadwalan seperti yang dijelaskan pada bagian berikutnya.
2. Konfigurasi parameter
Anda dapat mengatur parameter penjadwalan dalam mode Visual definition atau Define by expression. Anda dapat beralih antar mode ini dengan mengklik Define by expression di pojok kanan atas daftar parameter. Mode Visual definition merupakan mode default.
-
Konfigurasi parameter
Mode visual
Klik Scheduling di panel kanan untuk membuka panel konfigurasi parameter penjadwalan.
-
Tambahkan parameter
Klik Scheduling di sebelah kanan node dan tambahkan parameter di bagian Scheduling Parameter. Anda dapat menambahkan parameter dengan salah satu dari dua cara berikut.
-
Klik Add Parameter dan masukkan nama serta nilai secara manual. Nama parameter harus sama dengan nama variabel yang didefinisikan dalam kode.
-
Klik Load Parameters in Code. DataWorks secara otomatis mengurai variabel dalam kode Anda, seperti
${pt_date}, dan mengisinya dalam daftar parameter. Anda hanya perlu memasukkan nilai untuk setiap parameter.
-
-
Berikan nilai
Anda dapat memberikan nilai berupa parameter bawaan, variabel waktu kustom, atau konstanta.
-
Klik kotak input. Daftar drop-down akan muncul berisi ekspresi parameter umum yang dapat Anda pilih langsung. Anda juga dapat memasukkan ekspresi kustom atau variabel bawaan secara manual.
-
Anda dapat memasukkan nilai sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya tentang format nilai yang didukung, lihat Format parameter penjadwalan yang didukung.
-
Mode ekspresi
Klik Define by expression untuk beralih ke mode Ekspresi. Gunakan mode ini jika Anda lebih suka mengonfigurasi parameter dengan ekspresi.
-
Dalam mode Ekspresi, pisahkan beberapa parameter dengan spasi.
-
Saat Anda menambahkan, menghapus, atau mengubah parameter penjadwalan di Define by expression, DataWorks memvalidasi sintaksis ekspresi tersebut. Jika sintaksis tidak valid, parameter tidak dapat dikonfigurasi.
Sebagai contoh, DataWorks menerapkan aturan seperti tidak boleh ada spasi di kedua sisi tanda sama dengan (=).
-
-
Pratinjau parameter
Setelah Anda mendefinisikan parameter, klik Preview Scheduling Parameters untuk melihat bagaimana parameter akan diselesaikan untuk instans mendatang berdasarkan Waktu data yang ditentukan. Hal ini membantu Anda menguji apakah definisi sudah benar. Anda dapat menyesuaikan Waktu data dan jumlah instans yang akan dipratinjau.
Beberapa node, seperti node sinkronisasi batch, memiliki parameter default ${bizdate}. Parameter ini secara otomatis diberi nilai $bizdate. Anda dapat mengganti parameter bizdate dengan nama kustom dalam kode Anda. Nama ${bizdate} itu sendiri tidak memiliki makna khusus dan diperlakukan sama seperti parameter kustom lainnya.
3. Pengujian asap
Setelah Anda memberikan nilai pada parameter penjadwalan, gunakan fitur pengujian asap. Fitur ini memungkinkan Anda menetapkan Waktu data dan mensimulasikan cara tugas dijalankan, sehingga membantu memverifikasi bahwa kode dieksekusi dan parameter penjadwalan diganti sesuai harapan. Jika hasilnya tidak sesuai ekspektasi, segera sesuaikan konfigurasi untuk menghindari masalah pada eksekusi terjadwal.
Pengujian asap menghasilkan instans yang akan dikenai biaya. Untuk informasi selengkapnya tentang penetapan harga instans, lihat Penagihan kelompok sumber daya arsitektur tanpa server.
-
Komit kode node.
-
Konfigurasikan waktu penjadwalan dan dependensi penjadwalan.
-
Klik ikon Save
. Setelah kode dan konfigurasi disimpan, klik ikon Commit
untuk mengomitisikan kode dan konfigurasi terbaru ke Operation Center. Anda hanya dapat menggunakan fitur pengujian asap di lingkungan pengembangan setelah node dikomit.CatatanJika Anda menemukan bahwa pengujian asap tidak menjalankan kode atau parameter terbaru, komit ulang node tersebut.
-
-
Jalankan pengujian asap.
Klik ikon
Smoke Testing di bilah alat. Pada kotak dialog Perform Smoke Testing, pilih Waktu data, lalu klik OK untuk memulai pengujian. -
Lihat log pengujian asap.
-
Di jendela Smoke Testing Records yang muncul, temukan catatan terbaru dan klik View Log.
Log menampilkan status berjalan dan detail eksekusi node. Baris hasil penggantian parameter menunjukkan nilai aktual setiap parameter penjadwalan, yang dapat Anda gunakan untuk mengonfirmasi apakah parameter telah diganti dengan benar.
-
Periksa output parameter di log untuk memastikan nilainya benar.
CatatanJika Anda tidak sengaja menutup jendela tersebut, Anda dapat membukanya kembali dengan mengklik ikon
Smoke Testing Logs di Bilah alat.
-
Fitur Run
dan Advanced Run
mengharuskan Anda memberikan nilai konstanta secara manual pada variabel dalam kode. Oleh karena itu, fitur-fitur tersebut tidak dapat digunakan untuk memverifikasi apakah parameter penjadwalan telah dikonfigurasi dengan benar.
4. Terapkan dan verifikasi
Setelah diverifikasi di lingkungan pengembangan, Anda dapat menerapkan tugas ke Operation Center untuk eksekusi terjadwal di produksi. Setelah penerapan, periksa parameter penjadwalan di lingkungan produksi untuk mencegah error saat runtime.
Jika parameter penjadwalan untuk Tugas yang dipicu otomatis tidak dikonfigurasi sesuai harapan, atau jika Anda tidak dapat menemukan tugas di Operation Center, pastikan tugas telah diterapkan dengan sukses. Untuk informasi selengkapnya tentang cara menerapkan tugas, lihat Terapkan tugas.
-
Periksa definisi parameter.
Buka Operation Center, alihkan ke Wilayah dan ruang kerja target, lalu navigasi ke halaman . Di daftar tugas, klik nama tugas dan periksa parameter eksekusi di panel Attribute untuk memastikan semuanya benar.
-
Lakukan pengujian asap di Pusat Operasi.
Anda juga dapat menggunakan pengujian asap di Operation Center untuk mengonfirmasi bahwa tugas yang telah diterapkan mengganti parameter dan mengeksekusi kode sesuai harapan di lingkungan produksi. Untuk informasi selengkapnya, lihat Jalankan pengujian dan lihat instans pengujian.
PentingPerhatikan bahwa pengujian asap dijalankan pada data produksi sesungguhnya. Lakukan dengan hati-hati untuk menghindari korupsi data di database produksi Anda.
Di kotak dialog Smoke Testing, masukkan Smoke Test Name, pilih Waktu data target di Select Data Timestamp, opsional aktifkan Advanced Configuration untuk menyesuaikan parameter eksekusi tugas, lalu klik OK untuk memulai pengujian.
-
Amati hasil penjadwalan aktual.
Setelah tugas dijadwalkan secara otomatis, Anda dapat memverifikasi bahwa parameter telah diganti dengan benar dengan memeriksa parameter instans Tugas yang dipicu otomatis di Auto Triggered Instances.
Di daftar Auto Triggered Instances, temukan instans tugas target dan klik nama instans tersebut. Di panel Properties di sebelah kanan, lihat bidang Execution Parameters untuk mengonfirmasi bahwa setiap parameter telah diganti dengan nilai tanggal dan waktu aktual.
Contoh konfigurasi lengkap
Contoh ini menggunakan node ODPS SQL untuk menunjukkan cara menggunakan fitur Perform smoke test in development environment di lingkungan pengembangan guna menguji apakah parameter penjadwalan yang dikonfigurasi berfungsi sesuai harapan. Setelah tugas diterapkan, Anda juga akan memeriksa konfigurasi parameter penjadwalannya di Operation Center.
Untuk informasi tentang cara mengonfigurasi parameter penjadwalan untuk berbagai jenis node, lihat Contoh konfigurasi parameter penjadwalan untuk berbagai jenis node.
-
Edit kode node dan konfigurasikan parameter penjadwalan.
Gambar berikut menunjukkan kode dan konfigurasi parameter penjadwalan node ODPS SQL.

-
Definisikan variabel dalam kode.
-- Berikan nilai menggunakan parameter bawaan SELECT '${var1}'; SELECT '${var2}'; -- Berikan nilai menggunakan parameter kustom SELECT '${var3}'; SELECT '${var4}'; -- Berikan konstanta SELECT '${var5}'; -
Berikan nilai pada variabel.
Di panel , berikan nilai pada variabel (Area 2). Untuk informasi selengkapnya tentang format nilai, lihat Format parameter penjadwalan yang didukung.
-
var1=$bizdate: Memberikan Waktu data dalam formatyyyymmdd. -
var2=$cyctime: Memberikan waktu eksekusi terjadwal dalam formatyyyymmddhh24miss. -
var3=${yyyymmdd}: Memberikan Waktu data dalam formatyyyymmdd. -
var4=$[yyyymmddhh24miss]: Memberikan waktu eksekusi terjadwal dalam formatyyyymmddhh24miss. -
var5=Hangzhou: Memberikan konstantaHangzhoukevar5.
-
-
Opsi: Konfigurasi waktu penjadwalan.
Konfigurasikan node ODPS SQL untuk dijalankan sesuai jadwal per jam (Area 3).
CatatanAnda dapat memilih apakah akan mengonfigurasi jadwal berbasis waktu sesuai kebutuhan Anda. Contoh ini menunjukkan cara mengonfigurasi jadwal per jam.
-
Waktu mulai:
16:00 -
Waktu selesai:
23:59 -
Interval:
1jam
Untuk informasi selengkapnya tentang konfigurasi jadwal berbasis waktu, lihat Konfigurasi properti waktu.
-
-
Tetapkan dependensi penjadwalan.
Konfigurasikan dependensi penjadwalan untuk node tersebut. Untuk informasi selengkapnya, lihat Konfigurasi dependensi penjadwalan. Dalam contoh ini, node root digunakan sebagai dependensi hulu untuk node ini.
-
-
Di Bilah alat atas halaman editor node, klik ikon
lalu ikon
untuk menyimpan dan mengomitisikan konfigurasi node ODPS SQL. -
Lakukan pengujian asap di lingkungan pengembangan.
-
Klik ikon
. Di kotak dialog Smoke Testing in Development Environment, konfigurasikan Waktu data untuk mensimulasikan jadwal node.Waktu data dikonfigurasi sebagai berikut:
-
Waktu data:
2025-10-16 -
Waktu Mulai:
16:00 -
Waktu Selesai:
17:00
Karena tugas ODPS SQL dijadwalkan berjalan per jam, tugas tersebut akan menghasilkan dua instans pada pukul
16:00dan17:00pada tanggal2025-10-17.CatatanWaktu data biasanya satu hari sebelum waktu eksekusi. Oleh karena itu, waktu eksekusi aktual tugas adalah
2025-10-17.Nilai yang diharapkan untuk instans pukul
16:00adalah:-
var1=20251016 -
var2=20251017160000 -
var3=20251016 -
var4=20251017160000
Nilai yang diharapkan untuk instans pukul
17:00adalah:-
var1=20251016 -
var2=20251017170000 -
var3=20251016 -
var4=20251017170000
-
-
Klik OK. Node mulai berjalan pada waktu yang ditentukan.
-
Setelah eksekusi selesai, klik ikon
untuk melihat log pengujian asap.Dua instans yang dihasilkan untuk node tersebut berhasil dijalankan, dan hasilnya sesuai harapan.
Jendela View Smoke Testing Records menampilkan dua catatan instans dengan Waktu data
2025-10-16dan keduanya berstatus Succeeded. Klik View Log untuk melihat log eksekusi detail.Dalam log eksekusi untuk instans pukul
16:00, hasil penggantian parameter adalahvar1=20251016 var2=20251017160000 var3=20251016 var4=20251017160000 var5=Hangzhou, yang sesuai harapan.Dalam log eksekusi untuk instans pukul
17:00, hasil penggantian parameter adalahvar1=20251016 var2=20251017170000 var3=20251016 var4=20251017170000 var5=Hangzhou, yang juga sesuai harapan.
-
-
Jika ruang kerja Anda dalam mode standar, Anda harus menerapkan node ke lingkungan produksi. Di halaman editor node ODPS SQL, klik Deploy di pojok kanan atas untuk menerapkan node tersebut. Untuk informasi selengkapnya, lihat Terapkan tugas.
-
Buka Operation Center untuk mengonfirmasi konfigurasi parameter penjadwalan node tersebut.
-
Di bilah menu atas DataStudio, klik Operation Center di pojok kanan atas.
-
Di halaman , cari node target.
CatatanAnda hanya dapat menemukan node di halaman ini setelah node berhasil diterapkan.
-
Klik nama node target dan lihat Execution Parameters di panel Attribute.
Dalam contoh ini, parameter eksekusi untuk node tersebut adalah
var1=$bizdate var2=$cyctime var3=${yyyymmdd} var4=$[yyyymmddhh24miss]. -
Amati penggantian parameter aktual dalam instans yang sedang berjalan. Setelah instans terjadwal dihasilkan, buka halaman Auto Triggered Instances, cari nama tugas, klik nama instans, dan lihat Execution Parameters di panel Attribute.
Dalam contoh ini, parameter eksekusi diselesaikan menjadi
var1=20251016 var2=20251017160000 var3=20251016 var4=20251017160000.
-