Node Check DataWorks memverifikasi ketersediaan objek target, seperti tabel partisi MaxCompute, file FTP, file OSS, file HDFS, file OSS-HDFS, atau tugas sinkronisasi real-time. Node Check dianggap berhasil jika kebijakan pemeriksaannya terpenuhi. Jika suatu tugas bergantung pada objek target, gunakan node Check untuk memverifikasi ketersediaan objek tersebut dan tetapkan tugas tersebut sebagai dependensi downstream dari node Check. Setelah pemeriksaan berhasil, node Check akan sukses dan memicu tugas downstream. Topik ini menjelaskan objek yang dapat diperiksa oleh node Check, kebijakan yang tersedia, serta cara mengonfigurasi node tersebut.
Objek dan kebijakan pemeriksaan yang didukung
Node Check hanya dapat memeriksa sumber data dan tugas sinkronisasi real-time. Kebijakan pemeriksaannya adalah sebagai berikut:
-
Sumber data
-
Tabel partisi MaxCompute atau DLF (tabel partisi Paimon)
Catatan
Node Check mendukung tabel partisi MaxCompute, tetapi tidak mendukung tabel non-partisi MaxCompute.
Node Check menyediakan dua kebijakan pemeriksaan berikut untuk menentukan apakah data dalam tabel partisi MaxCompute telah siap.
-
Kebijakan 1: Periksa apakah partisi target ada
Jika partisi target ada, node Check menganggap proses pembuatan data telah selesai dan data tersedia.
-
Kebijakan 2: Periksa apakah partisi target telah diperbarui dalam periode tertentu
Jika partisi target belum diperbarui dalam periode yang ditentukan, node Check menganggap proses pembuatan data telah selesai dan data tersedia.
-
File FTP, OSS, HDFS, atau OSS-HDFS
Jika file target ada, node Check menganggapnya tersedia.
-
Tugas sinkronisasi real-time
Pemeriksaan didasarkan pada waktu mulai terjadwal dari node Check. Jika tugas sinkronisasi real-time telah selesai menulis data pada waktu tersebut, pemeriksaan berhasil.
Selain itu, Anda harus menentukan interval pemeriksaan (waktu antara pemeriksaan berturut-turut) dan kondisi penghentian (jumlah maksimum pemeriksaan atau batas waktu pemeriksaan). Jika tugas mencapai jumlah maksimum pemeriksaan atau melewati batas waktu pemeriksaan tetapi pemeriksaan belum berhasil, node Check akan gagal. Untuk informasi lebih lanjut tentang cara mengonfigurasi kebijakan ini, lihat Langkah 2: Konfigurasikan kebijakan pemeriksaan.
Catatan
-
Node Check secara berkala memeriksa objek target. Anda harus mengonfigurasi waktu penjadwalan untuk node Check berdasarkan waktu mulai pemeriksaan yang diharapkan. Setelah kondisi penjadwalan terpenuhi, node Check tetap dalam status Berjalan hingga pemeriksaan berhasil atau gagal berdasarkan kebijakan penghentian. Untuk informasi lebih lanjut tentang konfigurasi penjadwalan, lihat Langkah 3: Konfigurasikan penjadwalan tugas.
-
Node Check menggunakan resource penjadwalan hingga pemeriksaan selesai.
Batasan
-
Batasan kelompok sumber daya: Tugas node Check hanya dapat dijalankan pada kelompok sumber daya serverless. Untuk informasi lebih lanjut tentang cara membeli dan menggunakan kelompok sumber daya serverless, lihat Gunakan kelompok sumber daya serverless.
-
Batasan sumber data: Sumber data FTP dengan Protokol yang diatur ke SFTP yang menggunakan otentikasi Key tidak didukung.
-
Batasan fungsi node
-
Node Check hanya dapat memeriksa satu objek. Jika tugas Anda bergantung pada beberapa objek, seperti beberapa tabel partisi MaxCompute, buat node Check terpisah untuk setiap objek.
-
Interval pemeriksaan node Check harus antara 1 hingga 30 menit.
-
Batasan edisi DataWorks: Node Check hanya tersedia di DataWorks Edisi Profesional atau yang lebih baru. Jika Anda menggunakan edisi sebelumnya, Anda dapat melakukan upgrade. Untuk informasi lebih lanjut, lihat Penagihan edisi DataWorks.
-
Wilayah yang didukung: Anda dapat menggunakan node Check di ruang kerja yang berlokasi di wilayah China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), Inggris (London), AS (Silicon Valley), dan AS (Virginia).
Prasyarat
-
Jika node Check memeriksa sumber data, Anda harus terlebih dahulu membuat sumber data yang sesuai berdasarkan jenis objeknya.
|
Jenis objek
|
Persiapan
|
Referensi
|
|
Tabel partisi MaxCompute
|
-
Mesin komputasi MaxCompute telah dibuat dan di-bind ke DataStudio.
Saat Anda membuat dan mengikat mesin komputasi MaxCompute di DataWorks, sumber data MaxCompute akan dibuat secara otomatis.
-
Tabel partisi MaxCompute sudah ada.
|
|
|
File FTP
|
Sumber data FTP sudah ada.
Di DataWorks, Anda harus mendaftarkan layanan FTP Anda sebagai sumber data FTP untuk mengakses data dari layanan tersebut.
|
Buat sumber data FTP
|
|
File OSS
|
Sumber data OSS telah dibuat dan mode aksesnya diatur ke Access Key.
Di DataWorks, Anda harus mendaftarkan bucket OSS Anda sebagai sumber data OSS untuk mengakses data di dalam bucket tersebut.
Catatan
Node Check tidak mendukung sumber data OSS yang dikonfigurasi dengan otorisasi berbasis peran RAM.
|
|
|
File HDFS
|
Sumber data HDFS sudah ada.
Di DataWorks, Anda harus mendaftarkan file HDFS Anda sebagai sumber data HDFS untuk mengakses datanya.
|
Buat sumber data HDFS
|
|
File OSS-HDFS
|
Sumber data OSS-HDFS sudah ada.
Di DataWorks, Anda harus mendaftarkan layanan OSS-HDFS Anda sebagai sumber data OSS-HDFS untuk mengakses datanya.
|
Tambahkan sumber data OSS-HDFS
|
-
Jika node Check memeriksa tugas sinkronisasi real-time, hanya tugas yang menyinkronkan data dari Kafka ke MaxCompute yang didukung. Sebelum menggunakan node Check, buat tugas sinkronisasi real-time tersebut. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas sinkronisasi real-time (versi lama).
Langkah 1: Buat node pemeriksaan
Login ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Klik ikon 
dan pilih .
Ikuti petunjuk di layar untuk memasukkan informasi seperti path dan nama node.
Langkah 2: Konfigurasikan kebijakan pemeriksaan
Berdasarkan kebutuhan bisnis Anda, Anda dapat mengonfigurasi node Check untuk memeriksa sumber data atau tugas sinkronisasi real-time dan mengatur kebijakan yang sesuai.
Sumber data
Tabel partisi MaxCompute
Tabel berikut menjelaskan parameter-parameter tersebut.
|
Parameter
|
Deskripsi
|
|
Data Source Type
|
Pilih MaxCompute.
|
|
Data Source Name
|
Sumber data yang berisi tabel partisi MaxCompute yang akan diperiksa.
Jika tidak ada sumber data yang tersedia, klik New data source untuk membuatnya. Untuk informasi lebih lanjut, lihat Tambahkan mesin komputasi MaxCompute.
|
|
Table Name
|
Tabel partisi MaxCompute yang ingin Anda periksa.
Catatan
Anda hanya dapat memilih tabel partisi MaxCompute dari sumber data yang dipilih.
|
|
Partition
|
Partisi tabel yang akan diperiksa.
Setelah Anda mengonfigurasi parameter Table Name, Anda dapat melihat pratinjau informasi tabel untuk melihat nama partisi. Anda juga dapat menggunakan parameter penjadwalan untuk mendapatkan nama partisi. Untuk informasi lebih lanjut, lihat Format parameter penjadwalan.
|
|
Condition for Check Passing
|
Metode dan kondisi agar pemeriksaan berhasil. Anda dapat memilih salah satu dari dua metode pemeriksaan berikut:
|
|
Policy for Stopping Check
|
Kebijakan penghentian untuk tugas node Check. Anda dapat menetapkan batas waktu pemeriksaan atau jumlah maksimum pemeriksaan dan mengonfigurasi frekuensi pemeriksaan.
-
Tetapkan batas waktu: Menentukan durasi waktu dan interval pemeriksaan. Jika pemeriksaan tidak berhasil dalam durasi yang ditentukan, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Jika tugas upstream tertunda dan node Check dimulai setelah batas waktu yang dikonfigurasi, node tersebut tetap berjalan tetapi hanya melakukan satu kali pemeriksaan.
-
Tetapkan batas jumlah pemeriksaan: Menentukan jumlah maksimum pemeriksaan dan interval pemeriksaan. Jika pemeriksaan tidak berhasil setelah jumlah percobaan maksimum, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Durasi maksimum tugas node Check adalah 24 jam (1.440 menit). Jumlah maksimum pemeriksaan bergantung pada interval pemeriksaan. Misalnya, jika intervalnya 5 menit, tugas dapat melakukan maksimal 288 kali pemeriksaan. Jika intervalnya 10 menit, tugas dapat melakukan maksimal 144 kali pemeriksaan. Nilai aktual di UI yang berlaku.
|
File FTP
Tabel berikut menjelaskan parameter-parameter tersebut.
|
Parameter
|
Deskripsi
|
|
Data Source Type
|
Pilih FTP.
|
|
Data Source Name
|
Sumber data yang berisi file FTP yang akan diperiksa.
Jika tidak ada sumber data yang tersedia, klik New data source untuk membuatnya. Untuk informasi lebih lanjut, lihat Buat sumber data FTP.
|
|
Object Path
|
Path file FTP yang akan diperiksa, misalnya, /var/ftp/test/.
Ketersediaan path ini diartikan sebagai keberadaan file di lokasi tersebut.
Anda dapat memasukkan path atau menggunakan parameter penjadwalan untuk mendapatkan path. Untuk informasi lebih lanjut, lihat Format parameter penjadwalan.
|
|
Condition for Check Passing
|
Kondisi agar pemeriksaan file FTP berhasil.
-
Jika file FTP ada, pemeriksaan ini berhasil, dan platform menganggap file tersebut tersedia.
-
Jika file FTP tidak ada, pemeriksaan ini gagal, dan platform menganggap file tersebut tidak tersedia.
|
|
Policy for Stopping Check
|
Kebijakan penghentian untuk tugas node Check. Anda dapat menetapkan batas waktu pemeriksaan atau jumlah maksimum pemeriksaan dan mengonfigurasi frekuensi pemeriksaan.
-
Tetapkan batas waktu: Menentukan durasi waktu dan interval pemeriksaan. Jika pemeriksaan tidak berhasil dalam durasi yang ditentukan, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Jika tugas upstream tertunda dan node Check dimulai setelah batas waktu yang dikonfigurasi, node tersebut tetap berjalan tetapi hanya melakukan satu kali pemeriksaan.
-
Tetapkan batas jumlah pemeriksaan: Menentukan jumlah maksimum pemeriksaan dan interval pemeriksaan. Jika pemeriksaan tidak berhasil setelah jumlah percobaan maksimum, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Durasi maksimum tugas node Check adalah 24 jam (1.440 menit). Jumlah maksimum pemeriksaan bergantung pada interval pemeriksaan. Misalnya, jika intervalnya 5 menit, tugas dapat melakukan maksimal 288 kali pemeriksaan. Jika intervalnya 10 menit, tugas dapat melakukan maksimal 144 kali pemeriksaan. Nilai aktual di UI yang berlaku.
|
File OSS
Atur Objek pemeriksaan ke Sumber data, dan Kondisi untuk pemeriksaan berhasil ke File ada. Untuk Kebijakan untuk menghentikan pemeriksaan, Anda dapat memilih Tetapkan batas waktu atau Tetapkan batas jumlah pemeriksaan dan mengonfigurasi interval, batas waktu, atau jumlah pemeriksaan. Misalnya, Anda dapat mengatur interval pemeriksaan menjadi 5 menit. Catatan: Jika node Check dimulai setelah batas waktu pemeriksaan yang dikonfigurasi karena keterlambatan tugas upstream, node tersebut tetap berjalan tetapi hanya melakukan satu kali pemeriksaan.
Tabel berikut menjelaskan parameter-parameter tersebut.
|
Parameter
|
Deskripsi
|
|
Data Source Type
|
Pilih OSS.
|
|
Data Source Name
|
Sumber data tempat file OSS yang ingin Anda periksa berada.
Jika tidak ada sumber data yang tersedia, klik New data source untuk membuatnya. Untuk informasi lebih lanjut, lihat Buat sumber data OSS.
|
|
Object Path
|
Path file OSS yang akan diperiksa. Anda dapat login ke Konsol OSS, buka halaman detail bucket target, lalu lihat path di halaman .
Catatan
Secara default, node menggunakan informasi bucket dari sumber data OSS yang dipilih.
Saat memasukkan path, jangan sertakan awalan oss:// atau nama bucket. Kami juga menyarankan agar Anda tidak memulai path dengan garis miring maju (/).
Format path file OSS:
-
Jika path diakhiri dengan garis miring maju (/), node Check memverifikasi apakah folder dengan nama yang sama ada di OSS.
Contoh: user/ memeriksa apakah folder bernama user ada.
-
Jika path tidak diakhiri dengan garis miring maju (/), node Check memverifikasi apakah file dengan nama yang sama ada di OSS.
Contoh: user memeriksa apakah file bernama user ada.
Batasan pemeriksaan folder: Jika Anda perlu memeriksa keberadaan folder, perhatikan hal berikut:
-
Mengunggah file secara langsung, seperti put /a/b/1.txt, tidak membuat folder /a atau /a/b. Ini hanya membuat objek bernama /a/b/1.txt. Konsol menampilkan folder virtual /a/b/. Namun, folder ini tidak benar-benar ada dan tidak dapat ditemukan jika Anda memeriksanya.
-
Path unggah bertahap, seperti put /a→put /a/b→put /a/b/1.txt, membuat objek folder berukuran 0 KB untuk /a dan /a/b. Baik file maupun objek folder dibuat, sehingga folder tersebut benar-benar ada saat Anda memeriksanya.
|
|
Condition for Check Passing
|
Kondisi agar pemeriksaan file OSS berhasil.
-
Jika file OSS ada, pemeriksaan ini berhasil, dan platform menganggap file tersebut tersedia.
-
Jika file OSS tidak ada, pemeriksaan ini gagal, dan platform menganggap file tersebut tidak tersedia.
|
|
Policy for Stopping Check
|
Kebijakan penghentian untuk tugas node Check. Anda dapat menetapkan batas waktu pemeriksaan atau jumlah maksimum pemeriksaan dan mengonfigurasi frekuensi pemeriksaan.
-
Tetapkan batas waktu: Menentukan durasi waktu dan interval pemeriksaan. Jika pemeriksaan tidak berhasil dalam durasi yang ditentukan, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Jika tugas upstream tertunda dan node Check dimulai setelah batas waktu yang dikonfigurasi, node tersebut tetap berjalan tetapi hanya melakukan satu kali pemeriksaan.
-
Tetapkan batas jumlah pemeriksaan: Menentukan jumlah maksimum pemeriksaan dan interval pemeriksaan. Jika pemeriksaan tidak berhasil setelah jumlah percobaan maksimum, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Durasi maksimum tugas node Check adalah 24 jam (1.440 menit). Jumlah maksimum pemeriksaan bergantung pada interval pemeriksaan. Misalnya, jika intervalnya 5 menit, tugas dapat melakukan maksimal 288 kali pemeriksaan. Jika intervalnya 10 menit, tugas dapat melakukan maksimal 144 kali pemeriksaan. Nilai aktual di UI yang berlaku.
|
File HDFS
Jika node Check dimulai setelah batas waktu pemeriksaan yang dikonfigurasi karena keterlambatan tugas upstream, node tersebut tetap berjalan tetapi hanya melakukan satu kali pemeriksaan. Tabel berikut menjelaskan parameter-parameter tersebut.
|
Parameter
|
Deskripsi
|
|
Data Source Type
|
Pilih HDFS.
|
|
Data Source Name
|
Sumber data tempat file HDFS yang ingin Anda periksa berada.
Jika tidak ada sumber data yang tersedia, klik New data source untuk membuatnya. Untuk informasi lebih lanjut, lihat Buat sumber data HDFS.
|
|
Object Path
|
Path file HDFS yang akan diperiksa, misalnya, /user/dw_test/dw.
Ketersediaan path ini diartikan sebagai keberadaan file di lokasi tersebut.
Anda dapat memasukkan path atau menggunakan parameter penjadwalan untuk mendapatkan path. Untuk informasi lebih lanjut, lihat Format parameter penjadwalan.
|
|
Condition for Check Passing
|
Kondisi agar pemeriksaan file HDFS berhasil.
-
Jika file HDFS ada, pemeriksaan ini berhasil, dan platform menganggap file tersebut tersedia.
-
Jika file HDFS tidak ada, pemeriksaan ini gagal, dan platform menganggap file tersebut tidak tersedia.
|
|
Policy for Stopping Check
|
Kebijakan penghentian untuk tugas node Check. Anda dapat menetapkan batas waktu pemeriksaan atau jumlah maksimum pemeriksaan dan mengonfigurasi frekuensi pemeriksaan.
-
Tetapkan batas waktu: Menentukan durasi waktu dan interval pemeriksaan. Jika pemeriksaan tidak berhasil dalam durasi yang ditentukan, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Jika tugas upstream tertunda dan node Check dimulai setelah batas waktu yang dikonfigurasi, node tersebut tetap berjalan tetapi hanya melakukan satu kali pemeriksaan.
-
Tetapkan batas jumlah pemeriksaan: Menentukan jumlah maksimum pemeriksaan dan interval pemeriksaan. Jika pemeriksaan tidak berhasil setelah jumlah percobaan maksimum, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Durasi maksimum tugas node Check adalah 24 jam (1.440 menit). Jumlah maksimum pemeriksaan bergantung pada interval pemeriksaan. Misalnya, jika intervalnya 5 menit, tugas dapat melakukan maksimal 288 kali pemeriksaan. Jika intervalnya 10 menit, tugas dapat melakukan maksimal 144 kali pemeriksaan. Nilai aktual di UI yang berlaku.
|
File OSS-HDFS
Atur Objek pemeriksaan ke Sumber data. Di bagian Kebijakan untuk menghentikan pemeriksaan, pilih Tetapkan batas waktu atau Tetapkan batas jumlah pemeriksaan. Secara default, interval pemeriksaan adalah 5 menit. Jika node Check dimulai setelah batas waktu pemeriksaan yang dikonfigurasi karena keterlambatan tugas upstream, node tersebut tetap berjalan tetapi hanya melakukan satu kali pemeriksaan. Tabel berikut menjelaskan parameter-parameter tersebut.
|
Parameter
|
Deskripsi
|
|
Data Source Type
|
Pilih OSS-HDFS.
|
|
Data Source Name
|
Sumber data tempat file OSS-HDFS yang ingin Anda periksa berada.
Jika tidak ada sumber data yang tersedia, klik New data source untuk membuatnya. Untuk informasi lebih lanjut, lihat Tambahkan sumber data OSS-HDFS.
|
|
Object Path
|
Path file OSS-HDFS yang akan diperiksa. Anda dapat login ke Konsol OSS, buka halaman detail bucket target, lalu lihat path di halaman File Management > Files > HDFS.
Format path file OSS-HDFS:
-
Jika path file diakhiri dengan /, node Check memverifikasi apakah folder dengan nama yang sama seperti path input ada di OSS_HDFS.
Contohnya, user/ memeriksa apakah folder user ada.
-
Jika path file tidak diakhiri dengan /, node Check memverifikasi apakah file dengan nama yang sama seperti path input ada di OSS-HDFS.
Contohnya, user memeriksa apakah file user ada.
|
|
Condition for Check Passing
|
Kondisi agar pemeriksaan file OSS-HDFS berhasil.
-
Jika file OSS-HDFS ada, pemeriksaan ini berhasil, dan platform menganggap file tersebut tersedia.
-
Jika file OSS-HDFS tidak ada, pemeriksaan ini gagal, dan platform menganggap file tersebut tidak tersedia.
|
|
Policy for Stopping Check
|
Kebijakan penghentian untuk tugas node Check. Anda dapat menetapkan batas waktu pemeriksaan atau jumlah maksimum pemeriksaan dan mengonfigurasi frekuensi pemeriksaan.
-
Tetapkan batas waktu: Menentukan durasi waktu dan interval pemeriksaan. Jika pemeriksaan tidak berhasil dalam durasi yang ditentukan, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Jika tugas upstream tertunda dan node Check dimulai setelah batas waktu yang dikonfigurasi, node tersebut tetap berjalan tetapi hanya melakukan satu kali pemeriksaan.
-
Tetapkan batas jumlah pemeriksaan: Menentukan jumlah maksimum pemeriksaan dan interval pemeriksaan. Jika pemeriksaan tidak berhasil setelah jumlah percobaan maksimum, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Durasi maksimum tugas node Check adalah 24 jam (1.440 menit). Jumlah maksimum pemeriksaan bergantung pada interval pemeriksaan. Misalnya, jika intervalnya 5 menit, tugas dapat melakukan maksimal 288 kali pemeriksaan. Jika intervalnya 10 menit, tugas dapat melakukan maksimal 144 kali pemeriksaan. Nilai aktual di UI yang berlaku.
|
Tugas sinkronisasi real-time
Tabel berikut menjelaskan parameter-parameter tersebut.
|
Parameter
|
Deskripsi
|
|
Check Object
|
Pilih Real-time Synchronization Task.
|
|
Real-time Synchronization Task
|
Tugas sinkronisasi real-time yang ingin Anda periksa.
Catatan
-
Hanya tugas yang menyinkronkan data dari Kafka ke MaxCompute yang didukung.
-
Jika tugas sinkronisasi real-time yang sudah ada tidak dapat dipilih, periksa apakah tugas tersebut telah dipublikasikan ke lingkungan produksi.
|
|
Policy for Stopping Check
|
Kebijakan penghentian untuk tugas node Check. Anda dapat menetapkan batas waktu pemeriksaan atau jumlah maksimum pemeriksaan dan mengonfigurasi frekuensi pemeriksaan.
-
Tetapkan batas waktu: Menentukan durasi waktu dan interval pemeriksaan. Jika pemeriksaan tidak berhasil dalam durasi yang ditentukan, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Jika tugas upstream tertunda dan node Check dimulai setelah batas waktu yang dikonfigurasi, node tersebut tetap berjalan tetapi hanya melakukan satu kali pemeriksaan.
-
Tetapkan batas jumlah pemeriksaan: Menentukan jumlah maksimum pemeriksaan dan interval pemeriksaan. Jika pemeriksaan tidak berhasil setelah jumlah percobaan maksimum, tugas akan berhenti secara otomatis dan gagal.
Catatan
-
Interval pemeriksaan harus antara 1 hingga 30 menit.
-
Durasi maksimum tugas node Check adalah 24 jam (1.440 menit). Jumlah maksimum pemeriksaan bergantung pada interval pemeriksaan. Misalnya, jika intervalnya 5 menit, tugas dapat melakukan maksimal 288 kali pemeriksaan. Jika intervalnya 10 menit, tugas dapat melakukan maksimal 144 kali pemeriksaan. Nilai aktual di UI yang berlaku.
|
Langkah 3: Konfigurasikan penjadwalan tugas
Jika Anda perlu memeriksa data partisi secara berkala menggunakan node Check, klik Scheduling di panel kanan tab pengeditan node dan konfigurasikan properti penjadwalan untuk node sesuai kebutuhan. Untuk informasi lebih lanjut, lihat Konfigurasikan properti dasar.
Seperti node auto-trigger umum, node Check memerlukan Anda untuk mengonfigurasi properti penjadwalan seperti dependensi penjadwalan dan waktu penjadwalan. Di DataWorks, setiap node harus memiliki dependensi upstream. Jika node Check tidak memiliki dependensi upstream aktual, Anda dapat mengatur dependensinya ke node beban nol atau node root ruang kerja berdasarkan kompleksitas alur kerja bisnis Anda. Untuk informasi lebih lanjut, lihat Buat node beban nol.
Catatan
Anda harus mengatur properti Rerun attribute dan Parent Nodes sebelum dapat mengirimkan node.
Langkah 4: Kirim dan publikasikan tugas
Setelah Anda mengonfigurasi tugas node, Anda harus mengirim dan mempublikasikannya. Setelah tugas dipublikasikan, tugas tersebut akan berjalan secara berkala berdasarkan konfigurasi penjadwalannya.
-
Klik ikon 
di bilah alat untuk menyimpan node.
-
Klik ikon 
di bilah alat untuk mengirimkan tugas node.
Di kotak dialog Submission, masukkan Change Description. Anda juga dapat memilih untuk melakukan tinjauan kode dan pengujian asap setelah node dikirimkan.
Catatan
-
Anda harus mengatur properti Rerun attribute dan Parent Nodes sebelum dapat mengirimkan node.
-
Tinjauan kode membantu mengontrol kualitas kode tugas Anda dan mencegah kesalahan yang mungkin terjadi jika kode yang salah dipublikasikan ke lingkungan produksi tanpa ditinjau terlebih dahulu. Jika Anda mengaktifkan tinjauan kode, kode yang dikirimkan harus disetujui oleh reviewer sebelum dapat dipublikasikan. Untuk informasi lebih lanjut, lihat Tinjauan kode.
-
Untuk memastikan tugas node terjadwal berjalan sesuai harapan, kami menyarankan untuk melakukan pengujian asap pada tugas sebelum mempublikasikannya. Untuk informasi lebih lanjut, lihat Pengujian asap.
Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus mengklik Deploy di pojok kanan atas tab pengeditan node untuk mempublikasikan tugas ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Publikasikan tugas.
Langkah selanjutnya
Setelah node Check dikirim dan dipublikasikan ke Pusat Operasi, node tersebut akan berjalan secara berkala berdasarkan konfigurasinya. Anda dapat melihat hasil pemeriksaan dan melakukan operasi O&M terkait di Pusat Operasi. Untuk informasi lebih lanjut, lihat Operasi O&M dasar untuk node auto-trigger.