全部产品
Search

搜索本产品

    DataWorks：Mengonfigurasi dan menggunakan parameter penjadwalan

    文档中心

    DataWorks：Mengonfigurasi dan menggunakan parameter penjadwalan

    更新时间：Nov 10, 2025

    Dalam alur kerja data, kode tugas seperti SQL sering kali perlu berubah secara dinamis sesuai dengan waktu penjadwalan untuk memproses partisi data yang berbeda. Anda dapat menggunakan parameter penjadwalan untuk menghindari perubahan kode secara manual dengan menetapkan placeholder dalam kode Anda. Sistem kemudian secara otomatis mengganti placeholder tersebut dengan nilai dinamis, seperti Waktu data dan waktu proses terjadwal, sehingga mengotomatiskan dan memparametrisasi alur kerja Anda.

    Proses konfigurasi inti

    Untuk menggunakan parameter penjadwalan, definisikan dan tetapkan nilainya di bagian Scheduling Configurations. Setelah menguji kode, kirimkan ke Operation Center. Sistem kemudian secara otomatis menjadwalkan tugas dan mengganti parameter penjadwalan secara dinamis dengan nilai yang telah dikonfigurasi.

    Langkah

    Tindakan

    Tujuan Inti

    1. Definisikan parameter

    Dalam kode node, Anda dapat mendefinisikan satu atau beberapa parameter menggunakan format ${param}.

    Hal ini menyediakan placeholder untuk nilai dinamis.

    2. Konfigurasikan parameter

    Di panel Scheduling Configurations > Scheduling Parameters untuk node tersebut, tetapkan nilai pada variabel dalam kode.

    Hal ini mengaitkan placeholder ${param} dengan parameter penjadwalan tertentu, seperti $bizdate atau $[yyyymmdd-1].

    3. Uji

    Anda dapat menggunakan fitur Smoke Testing untuk mensimulasikan Waktu data tertentu dan memverifikasi kebenaran penggantian parameter serta eksekusi kode.

    Hal ini memastikan bahwa konfigurasi sudah benar di lingkungan pengembangan.

    4. Publikasikan dan verifikasi

    Kirimkan node ke lingkungan produksi, lalu konfirmasi konfigurasi parameter akhir di Operation Center.

    Hal ini memastikan bahwa parameter tugas produksi sesuai harapan.

    Langkah-langkah

    1. Definisikan parameter

    image

    1. Klik ganda node target, seperti node ODPS SQL, untuk membuka editor node.

    2. Definisikan parameter dalam kode. Dalam kode node ODPS SQL atau node SQL lainnya, Anda dapat menggunakan sintaks ${param} untuk mendefinisikan nama parameter. DataWorks merekomendasikan agar Anda menggunakan nama parameter yang bermakna agar lebih mudah dirujuk dan dikelola.

      Format pemanggilan parameter penjadwalan:

      Jenis format

      Sintaks pemanggilan

      Cakupan

      Catatan

      Format umum

      ${ParameterName}

      Berlaku untuk sebagian besar jenis node, seperti ODPS SQL dan node sinkronisasi.

      Ini adalah format paling umum.

      Format khusus

      Bervariasi tergantung jenis node. Tidak dalam format ${...}.

      PyODPS, Shell

      Untuk informasi selengkapnya, lihat Contoh konfigurasi parameter penjadwalan untuk berbagai jenis node.

      -- Contoh: Mendefinisikan variabel bernama pt_date untuk penyaringan partisi
SELECT * FROM my_table WHERE ds = '${pt_date}';

    3. Di sisi kanan halaman, klik Scheduling Configurations untuk menuju bagian Scheduling Parameters.

    4. Konfigurasikan parameter penjadwalan seperti yang dijelaskan pada bagian berikutnya.

    2. Konfigurasikan parameter

    Anda dapat menetapkan parameter penjadwalan dengan dua cara: Visual Definition dan Define By Expression. Anda dapat beralih antarmode ini dengan mengklik Define By Expression di pojok kanan atas daftar parameter. Mode default adalah Visual Definition.

    1. Konfigurasikan parameter

      Definisi visual

      Klik Scheduling Configurations di sebelah kanan node untuk membuka antarmuka konfigurasi parameter penjadwalan.

      image

      • Tambahkan parameter

        Di sebelah kanan node, klik Scheduling Configurations. Di bagian Scheduling Parameters, Anda dapat menambahkan parameter dengan salah satu dari dua cara berikut.

        1. Klik Add Parameter dan masukkan secara manual nama dan nilai parameter. Nama parameter harus sesuai dengan nama variabel yang didefinisikan dalam kode.

        2. Klik Load Parameters From Code. DataWorks secara otomatis mengurai variabel dalam kode, seperti ${pt_date}, dan menambahkannya sebagai parameter. Kemudian, masukkan nilai untuk setiap parameter.

      • Tetapkan nilai pada parameter

        Anda dapat menetapkan variabel sistem bawaan, variabel waktu kustom, dan konstanta.

        • Klik kotak input. Daftar drop-down menampilkan beberapa ekspresi parameter umum yang dapat Anda pilih langsung. Anda juga dapat memasukkan ekspresi kustom atau variabel sistem bawaan secara manual.

        • Masukkan nilai sesuai kebutuhan. Untuk informasi selengkapnya tentang rentang nilai parameter yang didukung, lihat Format yang didukung untuk parameter penjadwalan.

      Definisi berdasarkan ekspresi

      Klik Define By Expression untuk mengonfigurasi parameter menggunakan ekspresi.

      image

      • Saat Anda menggunakan ekspresi untuk mendefinisikan beberapa parameter, Anda harus memisahkannya dengan spasi.

      • Saat Anda menggunakan metode Define By Expression untuk menambah, menghapus, atau mengubah parameter penjadwalan, DataWorks memvalidasi sintaks ekspresi. Anda tidak dapat mengonfigurasi parameter penjadwalan jika sintaksnya tidak valid.

        Sebagai contoh, DataWorks memeriksa aturan sintaks seperti tidak boleh ada spasi di kedua sisi tanda sama dengan.

    2. Pratinjau parameter

      Setelah Anda mendefinisikan parameter, klik Scheduling Parameter Preview untuk melihat pratinjau parameter untuk N instans berikutnya yang berjalan setelah Waktu data tertentu. Hal ini membantu Anda memverifikasi bahwa definisi parameter dikonfigurasi sesuai harapan. Anda dapat menyesuaikan Waktu data dan jumlah instans untuk pratinjau.

      image

    Catatan

    Beberapa node, seperti node sinkronisasi offline, memiliki parameter bawaan ${bizdate}. Parameter ini secara otomatis diberi nilai $bizdate. Anda dapat mengganti nama parameter bizdate dalam kode dengan nama kustom. Parameter ${bizdate} itu sendiri tidak memiliki makna khusus dan sama seperti parameter kustom lainnya.

    image

    3. Pengujian asap

    Setelah Anda menetapkan nilai pada parameter penjadwalan, Anda dapat menggunakan fitur pengujian asap untuk mengonfigurasi Waktu data guna mensimulasikan skenario penjadwalan untuk node target. Anda dapat memverifikasi apakah eksekusi kode dan penggantian parameter bekerja sesuai harapan dalam skenario tersebut. Jika tidak, Anda harus menyesuaikan pengaturan sesuai kebutuhan untuk mencegah masalah pada penjadwalan tugas normal.

    Pengujian asap menghasilkan instans dan menimbulkan biaya instans. Untuk informasi selengkapnya tentang biaya instans, lihat Penagihan kelompok sumber daya arsitektur tanpa server.

    1. Kirimkan kode node.

      1. Konfigurasikan waktu penjadwalan dan dependensi penjadwalan.

      2. Klik ikon simpan 保存 untuk menyimpan kode dan konfigurasi. Lalu, klik ikon kirim 提交. Anda hanya dapat menggunakan fitur pengujian asap di lingkungan pengembangan setelah kode terbaru untuk node dikirim ke Operation Center.

        Catatan

        Jika Anda menemukan bahwa pengujian asap tidak menjalankan kode atau parameter terbaru, Anda harus mengirim ulang node tersebut.

    2. Jalankan pengujian asap.

      Klik ikon pengujian asap image di bilah alat. Di kotak dialog Smoke Testing, pilih Waktu data dan klik OK untuk menjalankan pengujian asap.

    3. Lihat log pengujian asap.

      1. Di jendela Smoke Test Records, temukan catatan terbaru dan klik View Log.

        image

      2. Di log, periksa output parameter untuk memastikan sesuai harapan Anda.

        Catatan

        Jika Anda tidak sengaja menutup jendela, Anda dapat mengklik ikon catatan pengujian asap image di bilah alat untuk membukanya kembali.

    Penting

    Fitur Run image dan Advanced Run image mengharuskan Anda menetapkan konstanta secara manual pada variabel dalam kode. Oleh karena itu, Anda tidak dapat menggunakan fitur ini untuk memverifikasi apakah parameter penjadwalan yang dikonfigurasi bekerja sesuai harapan.

    4. Publikasikan dan verifikasi

    Setelah verifikasi di lingkungan pengembangan, Anda dapat mengirim dan mempublikasikan tugas ke Operation Center untuk produksi dan penjadwalan otomatis. Setelah mempublikasikan tugas, Anda harus memeriksa parameter penjadwalan di lingkungan produksi untuk mencegah kesalahan saat runtime.

    Catatan

    Jika konfigurasi parameter penjadwalan tugas yang dipicu otomatis tidak sesuai harapan, atau jika Anda tidak dapat menemukan tugas target di Operation Center, pastikan bahwa tugas telah berhasil dipublikasikan. Untuk informasi selengkapnya tentang cara mempublikasikan tugas, lihat Publikasikan tugas.

    1. Periksa definisi parameter.

      Buka Operation Center, alihkan ke Wilayah tujuan dan ruang kerja, lalu navigasi ke halaman Recurring Task O&M > Recurring Tasks. Di daftar tugas, klik nama tugas dan verifikasi bahwa parameter eksekusi di panel Properties sudah benar.

      image

    2. Pengujian asap di Operation Center.

      Di Operation Center, Anda juga dapat menggunakan pengujian asap untuk memastikan apakah tugas yang telah dikirim dan dipublikasikan melakukan penggantian parameter dan eksekusi kode sesuai harapan di lingkungan produksi. Untuk informasi selengkapnya, lihat Jalankan pengujian dan lihat instans pengujian.

      Penting

      Perhatikan bahwa pengujian asap akan benar-benar dieksekusi pada data produksi. Anda harus berhati-hati untuk menghindari kontaminasi database produksi.

      image

    3. Amati hasil penjadwalan aktual.

      Setelah tugas dijadwalkan secara otomatis, Anda dapat lebih lanjut memverifikasi bahwa parameter telah diganti sesuai kebutuhan dengan memeriksanya di Recurring Instance.

      image

    Contoh konfigurasi lengkap

    Topik ini menggunakan node ODPS SQL sebagai contoh untuk menunjukkan cara menggunakan Smoke Testing Feature in the Development Environment guna menguji apakah parameter penjadwalan yang dikonfigurasi bekerja sesuai harapan. Topik ini juga menunjukkan cara melihat konfigurasi parameter penjadwalan tugas di Operation Center setelah node dipublikasikan.

    Catatan

    Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter penjadwalan untuk jenis node yang berbeda, lihat Konfigurasikan Parameter Penjadwalan untuk Jenis Node yang Berbeda.

    1. Edit kode node dan konfigurasikan parameter penjadwalan.

      Gambar berikut menunjukkan kode dan konfigurasi parameter penjadwalan node ODPS SQL.节点代码及参数配置

      1. Definisikan variabel dalam kode.

        -- Tetapkan parameter sistem bawaan
SELECT '${var1}';
SELECT '${var2}';
-- Tetapkan parameter kustom
SELECT '${var3}';
SELECT '${var4}';
-- Tetapkan konstanta
SELECT '${var5}';

      2. Tetapkan nilai pada variabel.

        Di bagian Scheduling Configurations > Scheduling Parameters, Anda dapat menetapkan nilai pada variabel seperti yang ditunjukkan di Area 2. Untuk informasi selengkapnya tentang format nilai, lihat Format yang didukung untuk parameter penjadwalan.

        • var1=$bizdate: Waktu data dalam format yyyymmdd.

        • var2=$cyctime: waktu proses terjadwal tugas dalam format yyyymmddhh24miss.

        • var3=${yyyymmdd}: Waktu data dalam format yyyymmdd.

        • var4=$[yyyymmddhh24miss]: waktu proses terjadwal tugas dalam format yyyymmddhh24miss.

        • var5=Hangzhou: menetapkan nilai var5 ke konstanta Hangzhou.

      3. Opsional: Konfigurasikan waktu penjadwalan.

        Konfigurasikan node ODPS SQL agar dijadwalkan setiap jam (seperti yang ditunjukkan di Area 3).

        Catatan

        Anda dapat mengonfigurasi periode waktu sesuai kebutuhan. Topik ini menggunakan contoh di mana periode waktu ditambahkan.

        • Waktu mulai adalah 16:00.

        • Waktu selesai adalah 23:59.

        • Interval adalah 1 jam.

        Untuk informasi selengkapnya tentang konfigurasi periode waktu, lihat Petunjuk konfigurasi properti waktu.

      4. Tetapkan dependensi penjadwalan.

        Konfigurasikan dependensi penjadwalan untuk node pengembangan. Untuk informasi selengkapnya, lihat Konfigurasikan dependensi penjadwalan. Dalam contoh ini, node root digunakan sebagai dependensi hulu untuk node ini.

    2. Di bilah alat di bagian atas editor node, klik ikon simpan 保存 lalu ikon kirim 提交 untuk menyimpan dan mengirim konfigurasi node ODPS SQL.

    3. Jalankan pengujian asap di lingkungan pengembangan.

      1. Klik ikon 开发环境冒烟测试. Di kotak dialog Smoke Testing, Anda dapat mengonfigurasi Waktu bisnis untuk mensimulasikan periode penjadwalan untuk node.

        配置业务时间Waktu bisnis dikonfigurasi sebagai berikut:

        • Waktu data: 2025-10-16

        • Waktu Mulai: 16:00

        • Waktu Selesai: 17:00

        Tugas ODPS SQL adalah tugas terjadwal per jam. Dua instans dihasilkan untuk tugas tersebut pada pukul 16:00 dan 17:00 pada tanggal 2025-10-17.

        Catatan

        Karena Waktu data adalah satu hari sebelum waktu proses, waktu proses aktual tugas adalah 2025-10-17.

        Nilai yang diharapkan untuk node pukul 16:00 adalah sebagai berikut:

        • var1=20251016.

        • var2=20251017160000.

        • var3=20251016.

        • var4=20251017160000.

        Nilai yang diharapkan untuk node pukul 17:00 adalah sebagai berikut:

        • var1=20251016.

        • var2=20251017170000.

        • var3=20251016.

        • var4=20251017170000.

      2. Klik OK. Node dijadwalkan untuk berjalan pada waktu yang ditentukan.

      3. Setelah waktu proses berakhir, klik ikon 查看冒烟测试日志 untuk melihat log pengujian asap.

        Dua instans yang dihasilkan oleh node berjalan berhasil, dan hasil eksekusi node sesuai harapan.

        image

        image

        image

    4. Jika ruang kerja Anda berada dalam mode standar, Anda perlu mempublikasikan node ke lingkungan produksi. Di halaman editor node ODPS SQL, klik Publish di pojok kanan atas bilah menu atas. Untuk informasi selengkapnya tentang cara mempublikasikan node, lihat Publikasikan node.

    5. Buka Operation Center untuk mengonfirmasi konfigurasi parameter penjadwalan node.

      生产环境参数配置

      1. Di bilah menu atas DataStudio, klik Operation Center di pojok kanan atas untuk membuka halaman Operation Center.

      2. Di halaman Recurring Task O&M > Recurring Tasks, Anda dapat mencari node target.

        Catatan

        Anda hanya dapat mencari node di halaman Recurring Tasks setelah node berhasil dipublikasikan.

      3. Klik nama node target dan lihat Execution Parameters di tab Properties.

        Dalam contoh ini, parameter eksekusi node adalah var1=$bizdate var2=$cyctime var3=${yyyymmdd} var4=$[yyyymmddhh24miss], yang sesuai harapan.

      4. Setelah instans terjadwal dihasilkan, klik menu Recurring Instance, cari nama tugas, lalu klik nama instans tugas. Di tab Properties, Anda dapat melihat parameter yang telah diganti di bawah Execution Parameters.

        Dalam contoh ini, parameter eksekusi node adalah var1=20251016 var2=20251017160000 var3=20251016 var4=20251017160000, yang sesuai harapan.

    Referensi