Node yang dipicu otomatis adalah node yang dijadwalkan secara berkala berdasarkan konfigurasi penjadwalannya setelah dikomit ke sistem penjadwalan. Anda dapat melihat node tersebut di ruang kerja dan melakukan operasi O&M pada node yang dipicu otomatis dalam daftar node di halaman Cycle Task di Operation Center. Sebagai contoh, Anda dapat menjalankan node secara manual atau mengaktifkan sistem penjadwalan untuk menjalankan node secara otomatis, melihat detail node, atau menangguhkan atau membatalkan penerapan node. Topik ini menjelaskan operasi O&M yang dapat dilakukan pada node yang dipicu otomatis.
Catatan penggunaan
Node yang dipicu otomatis hanya dapat dijadwalkan secara otomatis untuk menghasilkan instance di Pusat Operasi di lingkungan produksi. Node tersebut tidak dapat dijadwalkan secara otomatis untuk menghasilkan instance di Pusat Operasi di lingkungan pengembangan.
Setelah melakukan operasi seperti penambahan, modifikasi, dan pembatalan penerapan pada kode node, konfigurasi penjadwalan, sumber daya, atau fungsi di lingkungan produksi, Anda harus mengirimkan dan menerapkan objek tersebut agar konfigurasi diterapkan.
Setelah memodifikasi node yang dipicu otomatis, Anda harus menerapkan node tersebut. Setelah diterapkan, modifikasi akan diterapkan di lingkungan produksi. Masalah berikut mungkin terjadi saat menerapkan node: Node gagal diterapkan, proses penerapan diblokir, atau versi node yang diterapkan tidak sesuai dengan kebutuhan Anda. Dalam kasus ini, kami sarankan Anda pergi ke halaman Cycle Task di Operation Center untuk menyelesaikan masalah. Untuk informasi lebih lanjut, lihat Lihat dan Kelola Tugas yang Dipicu Otomatis.
Ikhtisar
Tabel berikut menjelaskan operasi O&M yang dapat dilakukan pada node yang dipicu otomatis.
Operasi O&M | Deskripsi |
Anda dapat melihat detail node yang dipicu otomatis dan melakukan operasi pada node tersebut dalam daftar node yang dipicu otomatis atau dalam grafik asiklik terarah (DAG) dari node tersebut di halaman Tugas Siklus. | |
| |
| |
Anda dapat melihat log operasi, versi, dan riwayat operasi dari node yang dipicu otomatis. |
Lihat node yang dipicu otomatis
Dalam daftar node yang dipicu otomatis, Anda dapat melihat node yang telah dikomit dan diterapkan ke sistem penjadwalan di lingkungan produksi. Anda dapat memeriksa apakah kode, konfigurasi parameter penjadwalan, dependensi penjadwalan, dan garis keturunan node memenuhi persyaratan bisnis Anda. Anda juga dapat melihat detail node dan melakukan operasi terkait dalam daftar node atau dalam DAG node tersebut. Untuk informasi lebih lanjut, lihat Lihat dan Kelola Tugas yang Dipicu Otomatis.
Hanya node yang diterapkan ke lingkungan produksi yang ditampilkan dalam daftar node yang dipicu otomatis di halaman Tugas Siklus di Pusat Operasi.
Jenis node berikut tidak dijadwalkan secara otomatis: node yang tidak bergantung pada node lain dan node yang digunakan sebagai node leluhur dari node lain serta bergantung pada node turunannya.
Jalankan node yang dipicu otomatis
Anda dapat memahami mode di mana node di DataWorks dijalankan dan melakukan diagnosis O&M berdasarkan situasi jalannya node secara efisien.
Mode jalankan
DataWorks menghasilkan instance node yang dipicu otomatis yang dijadwalkan untuk dijalankan pada hari berikutnya untuk node yang dipicu otomatis setiap malam. Anda dapat mengklik Isi Ulang Data atau Tes di kolom Aksi dari node yang dipicu otomatis untuk menghasilkan instance isi ulang data atau instance tes untuk node tersebut.
Jenis Instance | Skenario | Hubungan dengan Node yang Dipicu Otomatis (Bagaimana Instance Dihasilkan) | Metode Pemicu Instance (Bagaimana Instance Dipicu untuk Dijalankan) |
Operasi ekstraksi, transformasi, dan pemuatan (ETL) periodik diperlukan. | Setiap malam, DataWorks menghasilkan instance node yang dipicu otomatis yang dijadwalkan untuk dijalankan pada hari berikutnya berdasarkan informasi snapshot dari node yang dipicu otomatis pada titik waktu tertentu. Catatan Node yang dipicu otomatis tidak dapat dijadwalkan secara otomatis untuk menghasilkan instance di Pusat Operasi di lingkungan pengembangan. | DataWorks memicu instance node yang dipicu otomatis untuk dijalankan. | |
Anda ingin mengisi ulang data untuk periode waktu historis atau periode waktu di masa depan untuk node yang dipicu otomatis saat ini dan node turunannya. Ini menunjukkan bahwa Anda harus melakukan operasi ETL pada data periode waktu tersebut. | Anda harus mengisi ulang data untuk node yang dipicu otomatis saat ini untuk menghasilkan instance isi ulang data untuk node tersebut. | Setelah Anda mengisi ulang data, instance isi ulang data dihasilkan dan dipicu untuk dijalankan. | |
Tes Tugas yang Dipicu Otomatis dan Lihat Instance Tes yang Dihasilkan untuk Tugas Tersebut | Anda ingin menguji node yang dipicu otomatis saat ini untuk memeriksa apakah node dapat dijalankan sesuai harapan. Catatan Kode node yang dipicu otomatis dijalankan selama pengujian. | Anda harus menguji node yang dipicu otomatis saat ini untuk menghasilkan instance tes untuk node tersebut. | Setelah Anda melakukan pengujian, instance tes dihasilkan dan dipicu untuk dijalankan. |
Kondisi untuk menjalankan node yang dipicu otomatis
Node yang dipicu otomatis hanya dapat dijadwalkan untuk dijalankan jika kondisi berikut terpenuhi: Node leluhur dari node yang dipicu otomatis berhasil dijalankan, waktu penjadwalan node telah tiba, sumber daya penjadwalan cukup, dan node tidak dibekukan. Untuk informasi lebih lanjut, lihat Prasyarat agar Node yang Dipicu Otomatis Berhasil Dijalankan. 
Pemecahan masalah untuk masalah terkait jalannya node
Deskripsi Masalah dan Penyebab: Waktu penjadwalan node yang dipicu otomatis tiba, tetapi node tidak dijalankan. Penyebab potensial dari masalah ini mungkin adalah node leluhur dari node yang dipicu otomatis masih berjalan hingga waktu penjadwalan node yang dipicu otomatis tiba, tidak ada sumber daya yang cukup untuk menjalankan node yang dipicu otomatis, atau node yang dipicu otomatis dibekukan.
Solusi: Jika node yang dipicu otomatis gagal dijalankan, Anda dapat menggunakan fitur analisis upstream yang disediakan dalam DAG node yang dipicu otomatis untuk dengan cepat mengidentifikasi node leluhur yang memblokir jalannya node yang dipicu otomatis. Kemudian, Anda dapat menggunakan fitur diagnosis cerdas untuk mendiagnosis penyebab kegagalan atau masalah terkait dari node leluhur. Fitur diagnosis cerdas juga dapat digunakan untuk dengan cepat memecahkan masalah saat dependensi antara node yang dipicu otomatis dan node leluhurnya kompleks. Ini membantu meningkatkan efisiensi O&M. Untuk informasi lebih lanjut, lihat Mengapa Instance yang Dipicu Otomatis Tidak Dijalankan Setelah Waktu Penjadwalannya Tiba?, Node yang Menunggu Sumber Daya, dan Pembekuan dan Pembukaan Pembekuan Node.
Operasi O&M darurat
Jika node yang dipicu otomatis bergantung pada beberapa node leluhur dan salah satu node leluhur tidak dijalankan, Anda dapat menemukan instance yang dihasilkan untuk node yang dipicu otomatis di halaman Instance Siklus, buka DAG instance tersebut, klik kanan instance dalam DAG, dan pilih . Dalam kotak dialog Hapus Dependensi dengan Node Induk, Anda dapat menentukan nama node leluhur yang tidak dijalankan untuk menghapus dependensi antara node yang dipicu otomatis dan node leluhur.
CatatanAnda harus memeriksa apakah operasi ini memengaruhi output data berdasarkan kode node tempat instance tersebut dihasilkan dan garis keturunan instance tersebut.
Jika masalah kualitas data terjadi pada beberapa node turunan dari node yang dipicu otomatis, Anda dapat menemukan instance yang dihasilkan untuk node yang dipicu otomatis di halaman Instance Siklus, buka DAG instance tersebut, klik kanan instance dalam DAG, dan pilih atau pilih Operasi Darurat > Paksa Jalankan Ulang Node Turunan untuk memaksa menjalankan ulang node yang dipicu otomatis dan node turunannya. Untuk informasi lebih lanjut, lihat Lampiran: Paksa Jalankan Ulang Instance Turunan dari Instance yang Dipicu Otomatis.
Dalam beberapa kasus ekstrem, seperti pemadaman daya server abnormal dan switchover primer/sekunder, DataWorks mungkin tidak dapat sepenuhnya mengakhiri proses tugas terkait MaxCompute. Dalam kasus ini, pergi ke proyek MaxCompute yang sesuai dengan sumber daya komputasi MaxCompute yang diinginkan untuk menghentikan tugas.
Kelola node yang dipicu otomatis
Terapkan node yang dipicu otomatis
Sebelum Anda dapat melihat node yang dipicu otomatis dalam daftar node yang dipicu otomatis di halaman Tugas Siklus di Pusat Operasi, Anda harus menerapkan node tersebut ke sistem penjadwalan di lingkungan produksi. Untuk informasi lebih lanjut, lihat Terapkan Node (di DataStudio Versi Lama) atau Penerapan Node atau Alur Kerja (di Data Studio Versi Baru).
Batalkan penerapan node yang dipicu otomatis
Jika Anda tidak lagi memerlukan node yang dipicu otomatis atau alur kerja, Anda dapat membatalkan penerapan node atau semua node dalam alur kerja. Setelah Anda membatalkan penerapan node yang dipicu otomatis, Anda tidak dapat menemukan node tersebut di halaman Tugas Siklus. Untuk informasi lebih lanjut, lihat Batalkan Penerapan Node (di DataStudio Versi Lama) atau Batalkan Penerapan Node (di Data Studio Versi Baru).
Bekukan node yang dipicu otomatis
Jangan lakukan operasi pada node projectname_root, yang merupakan node root dari ruang kerja Anda. Semua instance node yang dipicu otomatis di ruang kerja bergantung pada node ini. Jika node ini dibekukan, instance node yang dipicu otomatis tidak dapat dijalankan.
Operasi | Skenario | Deskripsi |
Bekukan Node yang Dipicu Otomatis | Jika node yang dipicu otomatis dan node turunannya tidak perlu dijalankan selama periode waktu tertentu, Anda dapat membekukan node yang dipicu otomatis. |
|
Bekukan Instance | Jika instance yang dihasilkan untuk node yang dipicu otomatis tidak perlu dijalankan, Anda dapat membekukan instance tersebut. | Operasi pembekuan hanya berlaku pada instance saat ini. Instance lain yang dihasilkan pada hari yang sama dengan instance saat ini dan instance yang dihasilkan setelah hari tersebut tidak terpengaruh. |
Atur Recurrence ke Dry Run untuk Node yang Dipicu Otomatis | Jika node yang dipicu otomatis tidak perlu dijalankan selama periode waktu tertentu, tetapi Anda tidak ingin jalannya node turunan dari node tersebut diblokir, Anda dapat mengatur parameter Recurrence ke Dry Run untuk node yang dipicuotomatis. | Node yang dipicu otomatis dalam keadaan dry-run menghasilkan instance dry-run. Sistem tidak menjalankan instance dry-run untuk menghasilkan data, tidak menghasilkan log jalannya untuk instance dry-run, dan tidak menampilkan durasi jalannya untuk instance dry-run. Catatan Operasi mengatur parameter Recurrence ke Skip Execution untuk node yang dipicu otomatis di halaman DataStudio mencapai efek yang sama dengan operasi membekukan node yang dipicu otomatis di Pusat Operasi. Modifikasi pada node yang dipicu otomatis di halaman DataStudio hanya berlaku di lingkungan pengembangan. Jika Anda ingin modifikasi tersebut berlaku di lingkungan produksi, Anda harus menerapkan node yang dipicu otomatis ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Terapkan Node (di DataStudio Versi Lama) atau Penerapan Node atau Alur Kerja (di Data Studio Versi Baru). |
Untuk informasi lebih lanjut tentang dampak pembekuan atau pembukaan pembekuan node yang dipicu otomatis atau instance node yang dipicu otomatis, lihat Pembekuan dan Pembukaan Pembekuan Node.
Kelola prioritas node
Anda dapat menggunakan fitur manajemen baseline untuk menyesuaikan prioritas node yang dipicu otomatis dalam sebuah baseline. Sumber daya penjadwalan dialokasikan secara preferensial kepada node yang dipicu otomatis dengan prioritas lebih tinggi. Untuk informasi lebih lanjut, lihat Kelola Baseline.
Konfigurasikan pemantauan dan peringatan untuk node yang dipicu otomatis
Anda dapat menemukan node yang dipicu otomatis yang ingin Anda pantau dan mengonfigurasi aturan peringatan kustom dan aturan pemantauan kualitas data untuk node tersebut.
Anda dapat mengonfigurasi aturan peringatan kustom untuk memantau status node yang dipicu otomatis. Untuk informasi lebih lanjut, lihat Kelola Aturan Peringatan Kustom.
Anda dapat mengonfigurasi aturan pemantauan kualitas data untuk node yang dipicu otomatis untuk memantau data tabel yang dihasilkan saat instance node yang dipicu otomatis, instance isi ulang data, atau instance tes yang dihasilkan untuk node tersebut dijalankan. Untuk informasi lebih lanjut, lihat Ikhtisar.
Anda dapat mengonfigurasi aturan peringatan kustom untuk memantau grup sumber daya yang digunakan untuk menjalankan node yang dipicu otomatis berdasarkan jumlah instance yang dihasilkan untuk node tersebut dan menunggu sumber daya dalam grup sumber daya atau berdasarkan penggunaan sumber daya grup sumber daya tersebut. Untuk informasi lebih lanjut, lihat Kelola Aturan Peringatan Kustom.
Ubah grup sumber daya yang digunakan untuk menjalankan node yang dipicu otomatis
DataWorks memungkinkan Anda mengubah grup sumber daya untuk penjadwalan atau grup sumber daya untuk Data Integration yang digunakan untuk menjalankan node yang dipicu otomatis. Untuk informasi lebih lanjut, lihat Referensi Umum: Ubah Grup Sumber Daya yang Digunakan oleh Tugas.
Jika Anda ingin mendefinisikan ulang properti penjadwalan node yang dipicu otomatis, Anda dapat pergi ke halaman DataStudio, temukan node yang dipicu otomatis yang diinginkan, dan modifikasi konfigurasi properti penjadwalan di tab konfigurasi node yang dipicu otomatis. Untuk informasi lebih lanjut, lihat Konfigurasikan Properti Dasar. Anda juga dapat pergi ke tab operasi batch untuk melakukan operasi pada beberapa node yang dipicu otomatis sekaligus. Untuk informasi lebih lanjut, lihat Lakukan Operasi Batch.
Ubah pemilik node
Sebelum Anda dapat mengubah pemilik node, Anda harus mengaktifkan Ubah Pemilik Node oleh Pengguna RAM.
Setelah Ubah Pemilik Node oleh Pengguna RAM diaktifkan, administrator ruang kerja dapat melakukan operasi berikut:
Ubah pemilik node atau pemilik beberapa node sekaligus di halaman DataStudio.
Ubah pemilik node: Administrator ruang kerja dapat mengubah pemilik node di bagian General dari tab Properties di halaman DataStudio.
Ubah pemilik beberapa node sekaligus: Administrator ruang kerja dapat mengubah pemilik beberapa node sekaligus di halaman DataStudio. Untuk informasi lebih lanjut, lihat Lakukan Operasi Batch.
Setelah Anda mengubah pemilik node di lingkungan pengembangan, Anda harus menerapkan node ke lingkungan produksi agar perubahan dapat diterapkan.
Ubah pemilik node atau pemilik beberapa node sekaligus di lingkungan produksi.
Ubah pemilik node: Temukan node dan pilih di kolom Aksi.
Ubah pemilik beberapa node sekaligus: Pilih node yang pemiliknya ingin Anda ubah dan klik Change Owner di bagian bawah.
Setelah Anda mengubah pemilik node di lingkungan produksi, pemilik node di lingkungan pengembangan juga diubah.
Lihat catatan operasi node yang dipicu otomatis
Titik masuk | Deskripsi |
Tab Operation Log halaman DAG node yang dipicu otomatis atau instance node yang dipicu otomatis | Anda dapat melihat catatan operasi node yang dipicu otomatis atau instance node yang dipicu otomatis di tab Operation Log. |
Tab Versions di halaman DataStudio | Jika tidak ada detail tentang operasi yang dilakukan pada dan diterapkan untuk node yang dipicu otomatis yang dicatat, Anda dapat pergi ke tab konfigurasi node yang dipicu otomatis dan membandingkan versi yang ada dari node tersebut dengan versi node di lingkungan produksi untuk mendapatkan detail tentang perubahan versi. Untuk informasi lebih lanjut, lihat Terapkan node (di DataStudio versi lama) atau Penerapan node atau alur kerja (di Data Studio versi baru). |
Halaman Operation History di Pusat Operasi | Anda dapat pergi ke halaman Riwayat Operasi di Pusat Operasi untuk melihat catatan operasi node yang dipicu otomatis, instance node yang dipicu otomatis, atau baseline. Untuk informasi lebih lanjut, lihat Lihat catatan operasi di Pusat Operasi. |
FAQ
Untuk informasi lebih lanjut tentang FAQ untuk operasi O&M yang dapat dilakukan pada node yang dipicu otomatis, lihat FAQ tentang Node yang Dipicu Otomatis.