Topik ini menjelaskan masalah umum di mana sebuah task berjalan sukses tetapi tidak menghasilkan data.
Skenario 1: Node sukses dengan log eksekusi
Node berhasil menyelesaikan logikanya, tetapi selama penjadwalan otomatis instans periodik, node gagal mengambil data hulu atau melaporkan bahwa partisi tabel tidak tersedia. Namun, menjalankan ulang instans secara manual berhasil mengambil data secara normal.
-
Tidak ada dependensi yang dikonfigurasi pada task hulu yang menghasilkan data yang diperlukan.
-
Dependensi pada node hulu memang ada, tetapi partisi tabel yang dihasilkan oleh node hulu tidak sesuai dengan yang diharapkan. Hal ini menunjukkan adanya kesalahan pada siklus penjadwalan. Periksa substitusi parameter untuk instans hulu dan hilir pada parameter instans periodik serta detail log.
Konfigurasi ulang dependensi node.
Periksa parameter node hulu dan hilir: Pada halaman Periodic Instances di Operation Center, DAG menampilkan node virtual hulu xc_demo_start yang terhubung ke node sinkronisasi offline hilir xc_oss_data_sync. Pilih salah satu node dan buka tab Properties untuk memeriksa jenis tujuan data (MaxCompute), durasi waktu proses (40 detik), status instans (Success), serta detail lainnya. Parameter eksekusi bizdate=20210614 menunjukkan bahwa tanggal bisnis instans ini adalah 14 Juni 2021.
Skenario 2: Node sukses tanpa log eksekusi
Node melakukan dry run. Periksa status node pada halaman Properties.
Skenario 3: Log task menunjukkan sukses tetapi status instans menunjukkan kegagalan
Log eksekusi task menampilkan "Shell run successfully", tetapi status instans menunjukkan kegagalan eksekusi. Skenario ini biasanya disebabkan oleh aturan DQC (Data Quality Check) yang gagal dalam validasi.
DQC melakukan pemeriksaan kualitas pada data keluaran setelah task selesai. Jika aturan kualitas dikonfigurasi dengan kebijakan blocking dan pemeriksaan gagal, sistem akan menandai instans sebagai gagal meskipun task itu sendiri berjalan sukses.
Langkah pemecahan masalah:
-
Buka .
-
Temukan aturan pemantauan kualitas yang terikat pada tabel output.
-
Periksa riwayat eksekusi aturan tersebut untuk memastikan apakah pemeriksaan berhasil. Jika pemeriksaan gagal, perbaiki masalah data atau sesuaikan aturan DQC, lalu jalankan ulang instans tersebut.