Node Pemeriksaan - DataWorks

Node Pemeriksaan DataWorks memverifikasi ketersediaan objek target seperti tabel partisi MaxCompute, file FTP, objek OSS, file Sistem File Terdistribusi Hadoop (HDFS), file OSS-HDFS, atau tugas sinkronisasi real-time. Node dianggap berhasil jika kebijakan pemeriksaannya terpenuhi. Jika suatu tugas bergantung pada objek target, Anda dapat mengonfigurasinya sebagai tugas hilir dari Node Pemeriksaan. Tugas hilir hanya berjalan setelah Node Pemeriksaan berhasil. Topik ini menjelaskan objek yang dapat diperiksa oleh Node Pemeriksaan, kebijakan pemeriksaan yang tersedia, serta cara mengonfigurasi Node Pemeriksaan.

Pengenalan Node

Node Pemeriksaan digunakan untuk memverifikasi ketersediaan objek seperti tabel partisi MaxCompute, file FTP, objek OSS, file HDFS, objek OSS-HDFS, dan tugas sinkronisasi real-time. Node ini digunakan dalam skenario berikut:

Node Pemeriksaan memantau objek seperti tabel partisi MaxCompute, file FTP, objek OSS, file HDFS, objek OSS-HDFS, dan tugas sinkronisasi real-time. Sebagai contoh, sebuah tugas dalam sistem penjadwalan DataWorks mungkin perlu mengakses database eksternal. Jika tugas yang menulis data ke database tersebut tidak dikelola oleh DataWorks, DataWorks tidak dapat menentukan kapan tugas penulisan selesai dan data siap. Jika tugas DataWorks mencoba membaca data sebelum sepenuhnya ditulis, operasi pembacaan mungkin gagal atau hanya mengembalikan data sebagian. Untuk mencegah hal ini, Anda dapat menggunakan Node Pemeriksaan untuk memverifikasi status tabel, file, atau tugas sinkronisasi. Ini memastikan bahwa tugas hilir membaca data lengkap saat berjalan.

Prasyarat

Pengguna RAM yang ingin digunakan telah ditambahkan ke ruang kerja Anda.
Jika Anda ingin menggunakan Pengguna RAM untuk mengembangkan tugas, tambahkan Pengguna RAM ke ruang kerja Anda sebagai anggota dan tetapkan peran Develop atau Workspace Administrator. Peran Workspace Administrator memiliki lebih banyak izin daripada yang diperlukan. Berhati-hatilah saat menetapkan peran ini. Untuk informasi lebih lanjut tentang cara menambahkan anggota dan menetapkan peran kepada anggota, lihat Tambahkan anggota ke ruang kerja.
Kelompok sumber daya arsitektur tanpa server terkait dengan ruang kerja Anda. Untuk informasi lebih lanjut, lihat topik-topik dalam direktori Gunakan kelompok sumber daya arsitektur tanpa server.
Anda harus membuat Node Pemeriksaan sebelum dapat mengonfigurasinya. Untuk informasi lebih lanjut, lihat Buat tugas yang dipicu otomatis.

Jika Node Pemeriksaan memeriksa sumber data, Anda harus membuat sumber data sebelum mengonfigurasi Node Pemeriksaan. Persyaratannya adalah sebagai berikut:

Tipe objek untuk diperiksa	Operasi persiapan	Referensi
Tabel partisi MaxCompute	Sumber data MaxCompute dibuat dan dihubungkan ke DataStudio. Di DataWorks, tambahkan proyek MaxCompute sebagai sumber data MaxCompute untuk mengakses data di proyek MaxCompute. Tabel partisi MaxCompute dibuat.	Hubungkan sumber daya komputasi MaxCompute Buat dan gunakan tabel MaxCompute
File FTP	Sumber data FTP dibuat. Di DataWorks, tambahkan layanan FTP sebagai sumber data FTP untuk mengakses data dari layanan FTP.	Sumber data FTP
File OSS	Sumber data OSS dibuat dan mode aksesnya disetel ke AccessKey. Di DataWorks, tambahkan bucket OSS sebagai sumber data OSS untuk mengakses data di bucket tersebut. Catatan Node Pemeriksaan mendukung akses ke sumber data OSS hanya dalam mode AccessKey. Sumber data OSS yang dikonfigurasi dengan otorisasi peran RAM tidak dapat digunakan dengan Node Pemeriksaan.	Buat bucket Sumber data OSS
File HDFS	Sumber data HDFS dibuat. Di DataWorks, tambahkan file HDFS sebagai sumber data HDFS untuk mengakses data dari file HDFS.	Sumber data HDFS
File OSS-HDFS	Sumber data OSS-HDFS dibuat. Di DataWorks, tambahkan layanan OSS-HDFS sebagai sumber data OSS-HDFS untuk mengakses data dari layanan OSS-HDFS.	Sumber data OSS-HDFS

Jika Node Pemeriksaan memeriksa tugas sinkronisasi real-time, hanya tugas sinkronisasi real-time yang menyinkronkan data dari Kafka ke MaxCompute yang didukung. Anda harus membuat tugas sinkronisasi real-time sebelum mengonfigurasi Node Pemeriksaan. Untuk informasi lebih lanjut, lihat Konfigurasikan tugas sinkronisasi real-time di DataStudio.

Catatan penggunaan

Jika tugas hulu tertunda, Node Pemeriksaan mungkin mulai berjalan setelah waktu akhir yang dikonfigurasi. Dalam kasus ini, Node Pemeriksaan berjalan, tetapi hanya melakukan pemeriksaan satu kali.
Waktu proses maksimum untuk Node Pemeriksaan adalah 24 jam.

Langkah 1: Kembangkan Node Pemeriksaan

Buka Node Pemeriksaan yang Anda buat dan konfigurasikan sesuai petunjuk. Node Pemeriksaan dapat memeriksa sumber data atau tugas sinkronisasi real-time.

Sumber data

Tabel berikut menjelaskan item konfigurasi untuk memeriksa sumber data.

Item konfigurasi	Konten konfigurasi
Objek untuk diperiksa	Sumber data
Tipe sumber data	Sumber data yang didukung: `MaxCompute` `OSS` `FTP` `HDFS` `OSS_HDFS`
Nama sumber data	Pilih sumber data yang sesuai dengan tipe sumber data. Jika tidak ada sumber data yang tersedia, klik Create Data Source di sebelah kanan untuk membuat satu.
Nama tabel/Path	Jika Tipe sumber data disetel ke `MaxCompute`, periksa berdasarkan nama tabel. Catatan Hanya tabel partisi yang didukung. Jika Tipe sumber data disetel ke `OSS`, `FTP`, `HDFS`, atau `OSS_HDFS`, konfigurasikan path dari file objek.
Kondisi sukses	Jika objek untuk diperiksa adalah tabel, Anda dapat memvalidasi berdasarkan partisi tabel atau event LastModifiedTime tidak diperbarui. Jika objek untuk diperiksa adalah file, Anda hanya dapat memvalidasi berdasarkan apakah file tersebut ada.
Kebijakan Penghentian	Waktu akhir: Pemeriksaan berjalan pada interval yang dikonfigurasi hingga waktu yang ditentukan. Jumlah pemeriksaan: Pemeriksaan berjalan pada interval yang dikonfigurasi untuk jumlah kali yang ditentukan. Catatan Tugas berjalan berdasarkan kebijakan stop. Jika pemeriksaan tidak berhasil dalam kondisi kebijakan stop, Node Pemeriksaan secara otomatis keluar dan statusnya diatur menjadi gagal.

Tugas sinkronisasi real-time

Tabel berikut menjelaskan item konfigurasi untuk memeriksa tugas sinkronisasi real-time.

Item konfigurasi	Konten konfigurasi
Objek untuk diperiksa	Tugas sinkronisasi real-time
Tugas sinkronisasi real-time	Pilih tugas sinkronisasi real-time yang telah dibuat.
Kebijakan stop	Waktu akhir: Pemeriksaan berjalan pada interval yang dikonfigurasi hingga waktu yang ditentukan. Jumlah pemeriksaan: Pemeriksaan berjalan pada interval yang dikonfigurasi untuk jumlah kali yang ditentukan. Catatan Tugas berjalan berdasarkan kebijakan stop. Jika pemeriksaan tidak berhasil dalam kondisi kebijakan stop, Node Pemeriksaan secara otomatis keluar dan statusnya diatur menjadi gagal.

Setelah mengonfigurasi kebijakan pemeriksaan untuk Node Pemeriksaan, konfigurasikan properti penjadwalannya. Untuk informasi lebih lanjut, lihat Konfigurasikan properti penjadwalan untuk node.

Langkah 2: Publikasikan dan kelola node

Setelah mengonfigurasi properti penjadwalan, kirim dan publikasikan Node Pemeriksaan ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Publikasikan node atau alur kerja.
Tugas yang dipublikasikan berjalan berdasarkan jadwalnya. Anda dapat melihat tugas yang dipicu otomatis yang dipublikasikan di Pusat Operasi. Di panel navigasi di sebelah kiri, pilih Operation Center > Task O&M > Auto Triggered Task O&M > Auto Triggered Task. Anda kemudian dapat melakukan operasi O&M pada tugas tersebut. Untuk informasi lebih lanjut, lihat Mulai dengan Pusat Operasi.