Sebelum mengonfigurasi dependensi penjadwalan untuk sebuah node, Anda harus memastikan garis keturunan tabel yang dihasilkan oleh node tersebut. Contohnya, Anda perlu mengonfirmasi garis keturunan data dari tabel dan partisi data dalam tabel tersebut. Selain itu, Anda juga harus mengonfigurasi dependensi penjadwalan berdasarkan garis keturunan tabel yang dihasilkan. Topik ini menjelaskan cara mengonfirmasi garis keturunan tabel serta dampak jika tidak mengonfigurasi dependensi penjadwalan sesuai dengan garis keturunan tabel.
Informasi latar belakang
Tabel berikut menjelaskan cara mengonfirmasi garis keturunan tabel dalam berbagai skenario serta dampak jika tidak mengonfigurasi dependensi penjadwalan berdasarkan garis keturunan tabel.
Item | Deskripsi |
Jika tabel yang dihasilkan oleh Node A dalam ruang kerja bergantung pada tabel lain yang dihasilkan oleh Node B dalam ruang kerja yang sama, Anda dapat mengonfirmasi data partisi dalam tabel yang dihasilkan oleh Node B setiap hari berdasarkan konfigurasi parameter penjadwalan Node A dan B serta hasil penggantian parameter penjadwalan mereka. | |
Jika tabel yang dihasilkan oleh Node A dalam ruang kerja bergantung pada tabel lain yang dihasilkan oleh Node B dalam ruang kerja lain, Anda dapat mengonfirmasi data partisi dalam tabel yang dihasilkan oleh Node B setiap hari berdasarkan informasi output di DataMap. | |
Dampak Tidak Mengonfigurasi Dependensi Penjadwalan Berdasarkan Garis Keturunan Tabel | Garis keturunan tabel yang dihasilkan oleh sebuah node ada, tetapi Anda mengonfigurasi dependensi penjadwalan tanpa memperhatikan garis keturunan tabel. Akibatnya, terjadi kesalahan saat node turunan mendapatkan data dari node tersebut. |
Garis keturunan tabel yang dihasilkan oleh sebuah node ada, dan Anda mengonfigurasi dependensi penjadwalan berdasarkan garis keturunan tabel. Namun, instansi turunan bergantung pada instansi leluhur yang tidak diharapkan. Akibatnya, terjadi kesalahan saat node turunan mendapatkan data dari instansi leluhur yang dihasilkan untuk node tersebut. |
Catatan penggunaan
Di DataWorks, partisi dalam tabel tempat sebuah node membaca data atau menyimpan data yang dihasilkan ditentukan oleh parameter penjadwalan yang dikonfigurasikan untuk node tersebut. Jika partisi dalam tabel yang dihasilkan oleh node leluhur tidak sesuai dengan partisi dalam tabel tempat node turunan bergantung, Anda dapat menyesuaikan konfigurasi parameter penjadwalan node turunan sesuai kebutuhan bisnis Anda.
Jika Anda ingin agar instansi yang dihasilkan untuk Node A dalam siklus saat ini bergantung pada data partisi dalam tabel yang dihasilkan oleh instansi Node B dalam siklus sebelumnya, Anda dapat mengonfigurasi dependensi penjadwalan lintas siklus untuk Node A. Dengan cara ini, instansi Node A dalam siklus saat ini akan bergantung pada instansi Node B dalam siklus sebelumnya.
Dalam skenario tabel terpartisi, pastikan bahwa partisi dalam tabel yang dihasilkan oleh sebuah node adalah partisi tempat node saat ini bergantung.
Konfirmasi garis keturunan tabel
Konfirmasi garis keturunan tabel yang dihasilkan oleh node tempat node saat ini bergantung (kedua node berada dalam ruang kerja yang sama)
Dalam banyak kasus, sebuah node secara berkala menulis data ke partisi tertentu dalam tabel tertentu berdasarkan parameter penjadwalan yang dikonfigurasikan untuk node tersebut. Untuk informasi tentang penggantian dinamis parameter penjadwalan, lihat Parameter Penjadwalan. Jika Node A dalam ruang kerja bergantung pada Node B dalam ruang kerja yang sama, Anda dapat memeriksa konfigurasi parameter penjadwalan Node A.
Konfirmasi dependensi antara data tabel leluhur dan turunan dalam lingkungan pengembangan.
Buka tab konfigurasi node leluhur, dan periksa konfigurasi parameter penjadwalan serta detail kode node tersebut.
Konfirmasi output data tabel leluhur dan turunan dalam lingkungan produksi.
Konfirmasi garis keturunan tabel yang dihasilkan oleh node tempat node saat ini bergantung (node berada dalam ruang kerja yang berbeda)
Jika Node A dalam ruang kerja bergantung pada Node B dalam ruang kerja lain, Anda dapat mengonfirmasi data partisi dalam tabel yang dihasilkan oleh Node B setiap hari berdasarkan informasi output di DataMap. Sebagai contoh, Anda dapat memeriksa apakah cap waktu data untuk data partisi dalam tabel yang dihasilkan oleh Node B setiap hari adalah hari sebelumnya atau hari saat ini.
Dampak tidak mengonfigurasi dependensi penjadwalan untuk sebuah node berdasarkan garis keturunan tabel yang dihasilkan oleh node tersebut
Skenario 1: Garis keturunan kuat dari tabel yang dihasilkan oleh sebuah node ada tetapi Anda tidak mengonfigurasi dependensi penjadwalan untuk node tersebut berdasarkan garis keturunan tabel. Akibatnya, terjadi kesalahan saat node turunan mendapatkan data dari node tersebut.
Jika Tabel A ditentukan dalam pernyataan SELECT dalam kode node Job_B, tetapi node Job_A yang menghasilkan data Tabel A tidak dikonfigurasikan sebagai node leluhur untuk node Job_B, node Job_B mungkin mulai berjalan sebelum data Tabel A dihasilkan. Dalam hal ini, node Job_B tidak dapat dijalankan atau menghasilkan data.Waktu penjadwalan node Job_A lebih awal daripada node Job_B. Namun, jika node Job_A tidak dapat menghasilkan data sebelum pukul 02:00, terjadi kesalahan saat node Job_B mendapatkan data dari node Job_A. Node Job_A mungkin gagal menghasilkan data pada pukul 01:00 karena alasan berikut:
Terjadi kesalahan saat node leluhur dari Job_A dijalankan atau node leluhur dari Job_A berjalan dengan kecepatan lambat.
Node Job_A atau node leluhur dari Job_A sedang menunggu sumber daya.
Node leluhur dari Job_A dibekukan pada hari tertentu.
Skenario 2: Anda mengonfigurasi dependensi penjadwalan untuk sebuah node berdasarkan garis keturunan tabel yang dihasilkan oleh node tersebut, tetapi waktu saat node turunan mendapatkan data dari tabel yang dihasilkan oleh node leluhur lebih awal daripada waktu pembuatan tabel.
Jika Anda mengonfigurasi dependensi penjadwalan siklus yang sama untuk sebuah node, dan partisi dalam tabel yang dihasilkan oleh node lain tidak sesuai dengan partisi dalam tabel tempat node saat ini bergantung, masalah kualitas data mungkin terjadi saat node saat ini mendapatkan data dari node leluhurnya atau terjadi kesalahan untuk node saat ini.
Saat node MaxCompute menggunakan fungsi max_pt, pastikan bahwa data partisi dalam tabel yang dihasilkan oleh node leluhur dari node MaxCompute setiap hari valid.