operasi dasar untuk node yang dipicu otomatis, operasi, menerapkan node yang dipicu otomatis, membatalkan penerapan node yang dipicu otomatis - DataWorks

Node yang dipicu otomatis adalah node yang dijalankan secara berkala oleh sistem penjadwalan berdasarkan konfigurasi penjadwalannya. Anda dapat membuka halaman Operation Center > Auto Triggered Node untuk melihat node yang dipicu otomatis dalam ruang kerja tertentu dan melakukan operasi O&M terhadapnya. Operasi tersebut mencakup menjalankan node secara otomatis atau manual, melihat detail eksekusi, membekukan node, dan membatalkan penerapan node. Topik ini menjelaskan operasi-operasi tersebut secara rinci.

Catatan penggunaan

Hanya Operation Center di lingkungan produksi yang mendukung penjadwalan otomatis untuk menghasilkan instans node yang dipicu otomatis; lingkungan pengembangan tidak mendukungnya.
Gunakan proses commit dan deploy untuk menambahkan, memodifikasi, atau membatalkan penerapan kode node, konfigurasi penjadwalan, resource, dan fungsi di lingkungan produksi.
Semua perubahan pada suatu node harus diterapkan agar berlaku di lingkungan produksi. Penerapan dapat gagal, diblokir, atau menghasilkan versi yang tidak diharapkan. Oleh karena itu, periksa node tersebut di halaman Operation Center > Auto Triggered Node setelah penerapan. Untuk informasi selengkapnya, lihat Kelola node yang dipicu otomatis.

Operasi O&M

Topik ini menjelaskan cara melakukan operasi O&M pada node yang dipicu otomatis.

Operasi O&M	Deskripsi
Lihat node yang dipicu otomatis	Di halaman Cycle Task, Anda dapat melihat informasi detail tentang node dan melakukan operasi dari tampilan daftar atau DAG.
Jalankan node yang dipicu otomatis	Mode eksekusi: Node yang telah diterapkan ke lingkungan produksi akan berjalan secara otomatis sesuai jadwalnya. Anda dapat melihat hasil eksekusi yang dijadwalkan secara otomatis di halaman Operation Center > Scheduled Instance. Anda juga dapat menjalankan pengujian atau pengisian ulang data untuk periode historis atau masa depan di lingkungan produksi serta melihat hasilnya di instans pengisian ulang data dan instans uji. Kondisi eksekusi node dan troubleshooting: Pahami kondisi agar node dapat berjalan dan cara mengatasi kegagalan. Operasi darurat: Jika node gagal berjalan, Anda dapat melakukan operasi darurat, seperti menghapus dependensinya terhadap node leluhur yang belum berjalan atau memaksa menjalankan ulang node turunan jika terjadi kontaminasi data.
Kelola node yang dipicu otomatis	Terapkan dan batalkan penerapan node Terapkan node yang dipicu otomatis: Node harus diterapkan ke sistem penjadwalan produksi agar muncul dalam daftar Cycle Task. Batalkan penerapan node yang dipicu otomatis: Jika suatu node atau seluruh proses bisnis tidak lagi diperlukan, Anda dapat membatalkan penerapan node tersebut atau membatalkan penerapan semua node dalam proses tersebut sekaligus (batch). Catatan Node yang dibatalkan penerapannya dipindahkan ke Keranjang daur ulang, tempat Anda dapat memulihkannya kembali. Manajemen node Jeda eksekusi terjadwal: Jika suatu node dan node turunannya tidak perlu berjalan secara otomatis untuk sementara waktu, Anda dapat membekukan node tersebut. Pemantauan dan peringatan node: Di daftar node yang dipicu otomatis, Anda dapat mengonfigurasi aturan pemantauan untuk status eksekusi node, kualitas data tabel output, dan kelompok sumber daya yang digunakan untuk eksekusi. Kelola prioritas node: Anda dapat menggunakan fitur garis dasar (baseline) untuk mengelola prioritas node. Node dengan prioritas tinggi dialokasikan sumber daya penjadwalan terlebih dahulu. Ubah kelompok sumber daya node: Anda dapat memodifikasi properti eksekusi node, termasuk kelompok sumber daya penjadwalan dan kelompok sumber daya Data Integration. Ubah pemilik node: Anda dapat melakukan operasi ini secara batch.
Lihat catatan O&M untuk node yang dipicu otomatis	Anda dapat melihat log operasi, versi node, dan riwayat operasi untuk node dan instans.

Menampilkan node yang dipicu otomatis

Daftar node yang dipicu otomatis menampilkan semua node yang dijadwalkan untuk berjalan secara otomatis di lingkungan produksi. Anda dapat memverifikasi bahwa kode node, parameter penjadwalan, dependensi, dan alur data sudah benar. Anda juga dapat melihat informasi detail dan melakukan operasi dari tampilan daftar atau DAG. Untuk informasi selengkapnya, lihat Kelola node yang dipicu otomatis.

Catatan

Hanya node yang diterapkan ke lingkungan produksi yang muncul dalam daftar node yang dipicu otomatis di Operation Center.
Node juga tidak akan dijadwalkan jika bergantung pada salah satu node turunannya sendiri, karena hal ini menciptakan loop dependensi.

Menjalankan node yang dipicu otomatis

Bagian ini menjelaskan mode eksekusi node DataWorks dan cara mendiagnosis masalah berdasarkan status eksekusi.

Mode eksekusi

Setiap malam, DataWorks secara otomatis menghasilkan instans node yang dipicu otomatis untuk hari berikutnya berdasarkan snapshot node yang dipicu otomatis saat ini. Anda juga dapat memicu secara manual node yang dipicu otomatis untuk menghasilkan instans pengisian ulang data dan instans uji.

Tipe Instans	Kasus Penggunaan	Metode Pembuatan	Metode Pemicuan
instans node yang dipicu otomatis	Jalankan operasi ETL periodik dan otomatis.	DataWorks secara otomatis menghasilkan instans untuk hari berikutnya berdasarkan snapshot malam hari dari node yang dipicu otomatis. Catatan Operation Center di lingkungan pengembangan tidak menjadwalkan atau menghasilkan instans node yang dipicu otomatis secara otomatis.	DataWorks menjalankan instans tersebut secara otomatis.
instans pengisian ulang data	Jalankan operasi ETL untuk mengisi ulang data untuk periode lalu atau masa depan bagi node saat ini dan node turunannya.	Instans pengisian ulang data dihasilkan ketika Anda memicu secara manual pengisian ulang data untuk node yang dipicu otomatis.	Instans pengisian ulang data berjalan segera setelah dihasilkan.
Jalankan pengujian dan lihat instans uji	Uji node yang dipicu otomatis untuk memverifikasi bahwa hasil eksekusinya benar. Catatan Instans uji menjalankan logika kode yang sebenarnya.	Instans uji dihasilkan ketika Anda memicu secara manual eksekusi uji untuk node yang dipicu otomatis.	Instans uji berjalan segera setelah dihasilkan.

Kondisi eksekusi node

Node yang dijadwalkan hanya berjalan jika semua node leluhurnya telah berhasil selesai, waktu jadwalnya telah tiba, tersedia sumber daya penjadwalan yang cukup, dan node tersebut tidak dibekukan. Untuk informasi selengkapnya, lihat Prasyarat agar node yang dijadwalkan dapat berjalan. 运行流程图

Penyelesaian masalah eksekusi node

Gejala: Node tidak berjalan meskipun waktu jadwalnya telah tiba. Kemungkinan penyebabnya meliputi node leluhur belum berhasil berjalan, sumber daya penjadwalan tidak mencukupi, atau node tersebut dibekukan.

Penyelesaian masalah: Pertama, gunakan fitur analisis hulu di panel DAG untuk mengidentifikasi node leluhur yang menghambat. Kemudian, gunakan fitur diagnosis cerdas untuk mendiagnosis mengapa instans kunci belum berjalan atau mengidentifikasi masalah lainnya. Untuk node dengan dependensi kompleks, fitur ini membantu Anda menemukan akar masalah dan meningkatkan efisiensi O&M. Untuk informasi selengkapnya, lihat Mengapa node saya belum berjalan setelah waktu jadwalnya tiba?, Menunggu sumber daya, dan Bekukan dan lepaskan pembekuan node.

Operasi darurat

Jika node leluhur belum berjalan dan menghambat node saat ini, Anda dapat mengklik kanan instans yang belum berjalan tersebut dan memilih Emergency Operations > Delete Dependencies untuk segera menjalankan node saat ini.

Catatan
Sebelum melakukan operasi ini, periksa kode node dan alur datanya untuk memastikan tidak akan berdampak buruk pada data Anda.
Jika terjadi masalah kualitas data secara luas, Anda dapat mengklik kanan suatu instans dan memilih Emergency Operations > Force Rerun Descendant Nodes. Untuk informasi selengkapnya, lihat Lampiran: Paksa jalankan ulang node turunan.
Dalam beberapa kasus ekstrem, seperti pemadaman listrik server atau alih bencana primary/secondary, DataWorks mungkin tidak dapat sepenuhnya menghentikan tugas MaxCompute terkait. Dalam situasi ini, buka proyek MaxCompute yang sesuai untuk menghentikan pekerjaan.

Mengelola node yang dipicu otomatis

Menerapkan node yang dipicu otomatis

Node harus diterapkan ke sistem penjadwalan produksi sebelum muncul dalam daftar node yang dipicu otomatis di Operation Center. Untuk informasi selengkapnya, lihat Terapkan node (DataStudio versi lama) dan Terapkan node atau alur kerja (DataStudio versi baru).

Membatalkan penerapan node yang dipicu otomatis

Jika suatu node atau proses bisnis tidak lagi diperlukan, Anda dapat membatalkan penerapannya. Setelah node dibatalkan penerapannya, node tersebut tidak lagi muncul di halaman Cycle Task. Untuk informasi selengkapnya, lihat Batalkan penerapan node (DataStudio versi lama) dan Batalkan penerapan node (DataStudio versi baru).

Menjeda eksekusi terjadwal

Penting

Jangan ubah node projectname_root. Node ini adalah node akar ruang kerja. Instans node yang dipicu otomatis bergantung pada node ini. Jika Anda membekukan node ini, instans node yang dipicu otomatis tidak dapat berjalan.

Operasi	Kasus Penggunaan	Deskripsi
Bekukan node yang dipicu otomatis	Jika suatu node dan node turunannya tidak perlu dijadwalkan secara otomatis untuk sementara waktu, Anda dapat membekukan node tersebut.	Cara kerja: Dalam skenario penjadwalan otomatis, node hanya berjalan setelah semua node leluhurnya berhasil berjalan. Jika node leluhur dibekukan, maka semua node turunannya akan terblokir. Oleh karena itu, jika suatu node dan semua turunannya tidak perlu berjalan, Anda dapat membekukan node akar dari proses bisnis yang bersangkutan. Efek: Saat node yang dipicu otomatis dibekukan, instans yang dihasilkannya juga dibekukan, sehingga memblokir semua instans turunan yang bergantung padanya.
Bekukan instans	Jika instans tertentu tidak perlu berjalan, Anda dapat membekukannya.	Operasi pembekuan hanya berlaku untuk instans yang dipilih. Operasi ini tidak memengaruhi instans lain pada hari yang sama atau instans berikutnya yang dihasilkan oleh node yang dipicu otomatis.
Tetapkan node yang dipicu otomatis ke mode dry run	Jika suatu node tidak perlu berjalan untuk sementara waktu tetapi tidak boleh menghambat node turunannya, Anda dapat mengatur jenis penjadwalannya menjadi Empty Run Scheduling.	Node yang dipicu otomatis yang diatur ke mode dry run akan menghasilkan instans dry run. Instans ini memiliki log eksekusi kosong, tidak memiliki durasi eksekusi, dan tidak memproses data apa pun. Catatan Mengatur jenis penjadwalan ke Paused di DataStudio memiliki efek yang sama dengan membekukan node yang dipicu otomatis di Operation Center. Namun, perubahan yang dilakukan di DataStudio hanya berlaku di lingkungan pengembangan. Agar berlaku di lingkungan produksi, Anda harus menerapkan node tersebut. Untuk informasi selengkapnya, lihat Terapkan node (DataStudio versi lama) dan Terapkan node atau alur kerja (DataStudio versi baru).

Catatan

Untuk informasi selengkapnya tentang efek pembekuan dan pelepasan pembekuan node yang dipicu otomatis beserta instansnya, lihat Bekukan dan lepaskan pembekuan node.

Mengelola prioritas node

Anda dapat menggunakan fitur manajemen garis dasar (baseline) untuk mengelola prioritas node. Penjadwal akan mengalokasikan sumber daya terlebih dahulu kepada node dengan prioritas tinggi. Untuk informasi selengkapnya, lihat Kelola garis dasar.

Pemantauan dan peringatan node

Anda dapat mengonfigurasi aturan pemantauan untuk suatu node dari daftar node yang dipicu otomatis:

Pantau status instans node yang dipicu otomatis selama eksekusi terjadwal. Untuk informasi selengkapnya, lihat Buat dan kelola aturan peringatan kustom.
Pantau kualitas data tabel yang dihasilkan oleh instans node yang dipicu otomatis, instans pengisian ulang data, dan instans uji. Untuk informasi selengkapnya, lihat Ikhtisar Kualitas Data.
Pantau kelompok sumber daya yang digunakan oleh node dengan menetapkan peringatan untuk metrik seperti jumlah instans dan pemanfaatan sumber daya. Untuk informasi selengkapnya, lihat Buat dan kelola aturan peringatan kustom.

Memodifikasi kelompok sumber daya node

Anda dapat memodifikasi kelompok sumber daya yang digunakan oleh suatu node, termasuk kelompok sumber daya penjadwalan dan kelompok sumber daya untuk Data Integration. Untuk informasi selengkapnya, lihat Referensi: Ganti kelompok sumber daya.

Catatan

Untuk menetapkan ulang properti lain dari node yang dipicu otomatis, buka DataStudio, temukan node tersebut, dan buka panel konfigurasinya. Untuk informasi selengkapnya, lihat Konfigurasi properti dasar. Untuk memodifikasi beberapa node sekaligus, buka halaman Operasi Batch.

Memodifikasi pemilik node

Anda harus terlebih dahulu mengaktifkan Izinkan Sub-akun Mengubah Pemilik Node. Setelah diaktifkan, administrator ruang kerja dapat mengubah pemilik dengan cara berikut:

Di DataStudio, Anda dapat mengubah pemilik untuk satu node atau beberapa node sekaligus:
- Node tunggal: Buka panel Node Scheduling Configuration > General.
- Beberapa node: Gunakan halaman Operasi Batch. Untuk informasi selengkapnya, lihat Operasi Batch.
Perubahan pemilik di lingkungan pengembangan harus diterapkan ke lingkungan produksi agar berlaku.
Di lingkungan produksi:
- Node tunggal: Di kolom Actions untuk node tersebut, klik More > Change Owner.
- Beberapa node: Pilih node yang ingin diubah pemiliknya, lalu klik Change Owner di bagian bawah halaman.
  
  Catatan
  Perubahan pemilik di lingkungan produksi akan disinkronkan ke lingkungan pengembangan.

Menampilkan catatan O&M

Titik masuk	Deskripsi
Operation Log untuk node atau instans	Klik suatu node atau instans dan buka tab Operation Log untuk melihat riwayat perubahannya.
Node Version	Jika proses penerapan tidak memiliki catatan detail, buka DataStudio dan bandingkan versi node dengan versi di lingkungan produksi untuk melihat perubahan secara detail. Untuk informasi selengkapnya, lihat Terapkan node (DataStudio versi lama) dan Terapkan node atau alur kerja (DataStudio versi baru).
Operation History	Anda dapat melihat catatan operasi untuk node, instans, dan garis dasar di halaman Operation History. Untuk informasi selengkapnya, lihat Lihat catatan O&M di Operation Center.

FAQ

Untuk pertanyaan umum tentang O&M untuk node yang dipicu otomatis, lihat FAQ tentang node yang dipicu otomatis.