DataWorks:Tugas tidak berjalan

Batasan

Penjadwalan Otomatis hanya didukung di Operation Center untuk lingkungan produksi DataWorks. Pastikan node tersebut telah dipublikasikan ke lingkungan produksi. Untuk informasi selengkapnya, lihat Publikasikan tugas.

Kondisi jalannya node

Di Operation Center, instans diidentifikasi berdasarkan status yang berbeda.

Node terjadwal hanya akan berjalan jika kondisi berikut terpenuhi: sumber daya penjadwalan tersedia, waktu penjadwalan telah tiba, semua node leluhur telah berjalan dengan sukses, dan penjadwalan node tersebut tidak dijeda atau dibekukan.

• Ungu (Frozen): Instans dibekukan. Node tidak akan berjalan dan akan menghambat node downstream-nya. Anda dapat mengklik Show Details > Operation Logs untuk melihat catatan terkait.
• Kuning (Waiting): Node sedang menunggu waktu penjadwalannya. Klik Show Details di pojok kanan bawah dan periksa tab Attribute untuk informasi lebih lanjut.
  Catatan

  • Jika statusnya adalah Waiting for Resources, jumlah node yang sedang berjalan di proyek saat ini telah mencapai batas maksimum. Anda dapat mengklik kanan instans tersebut dan memeriksa bagian sumber daya penjadwalan di panel Instance Diagnose untuk melihat node mana saja yang mengonsumsi sumber daya. Untuk informasi selengkapnya, lihat Waiting for resources.
  • Jika statusnya adalah Waiting for Scheduling Time, waktu penjadwalan instans tersebut belum tiba.
• Abu-abu (Not run): Klik kanan instans abu-abu tersebut untuk memeriksa status node leluhurnya. Gunakan Run Diagnostics dan Upstream Analysis.
• Biru (Running): Instans sedang berjalan. Jika node tidak berhasil berjalan setelah periode yang lama, lihat Waiting for resources.
  Catatan Jika tidak ada node leluhur dalam salah satu status di atas dan seluruh alur kerja berwarna abu-abu, dependensi node leluhur mungkin telah berubah sehingga mengisolasi alur kerja tersebut. Untuk informasi selengkapnya, lihat Scenario: Isolated node.

Alasan keterlambatan eksekusi

• Gejala

  Saat instans yang dipicu secara otomatis berjalan, waktu penjadwalannya mungkin tidak sama dengan waktu mulai aktualnya. Node mungkin tidak berjalan meskipun waktu penjadwalannya telah lewat.

  Misalnya, untuk instans node ODPS SQL, scheduling time adalah 2022-04-07 00:08:00, waktu starts waiting for resources adalah 2022-04-07 00:59:50, dan start time adalah 2022-04-07 01:21:02. Instans tersebut menunggu sumber daya selama 21 menit 12 detik, menunjukkan selisih waktu yang signifikan antara ketiga cap waktu tersebut.
• Pemecahan Masalah
  Pertama, gunakan fitur analisis node leluhur untuk menemukan instans kunci yang menghambat node saat ini. Kemudian, gunakan diagnosis cerdas untuk menganalisis mengapa node tersebut terhambat dan segera mengidentifikasi masalahnya.
  Node di DataWorks mungkin tidak berjalan karena salah satu dari empat alasan umum berikut. Contoh berikut menggunakan dependensi tiga tingkat untuk ilustrasi. Logika ini juga berlaku untuk dependensi yang lebih kompleks.

  • Skenario 1: Tidak semua node leluhur telah berjalan dengan sukses (Status node: Abu-abu Not Run).

    Skema: Misalkan waktu saat ini adalah 01:00. Node A2 dijadwalkan pukul 01:00, Node A3 pukul 03:00, dan Node B pukul 00:00. Node B bergantung pada node A2 dan A3.

    Analisis: Waktu penjadwalan Node B (00:00) telah lewat. Namun, karena node leluhurnya belum mencapai waktu penjadwalannya, Node B harus menunggu kedua node A2 dan A3 berjalan dan sukses. Jika salah satu dari A2 atau A3 gagal, Node B tidak akan berjalan. Oleh karena itu, status instans saat ini dari Node B adalah Not Run.

    Kesimpulan: Node hanya berjalan setelah semua node leluhurnya berhasil berjalan.

    Catatan Jika node leluhur tetap dalam status running dalam periode yang lama, rujuk solusi berikut.

    • Jika node sinkronisasi non-Batch tetap dalam status running dan Anda ingin mengetahui penyebab spesifiknya, dapatkan dukungan di DingTalk. Pertama, klik tautan ini untuk bergabung ke grup "Alibaba Cloud Big Data & AI Platform". Lalu, pindai kode QR untuk bergabung ke grup produk DataWorks, tempat Anda dapat bertanya kepada asisten cerdas atau staf jaga.
    • Jika node sinkronisasi Batch tetap dalam status running, kemungkinan besar node tersebut menunggu sumber daya eksekusi dalam waktu lama, atau beberapa logika sedang diproses secara lambat. Untuk informasi selengkapnya, lihat Cara memecahkan masalah node sinkronisasi Batch yang berjalan lama.
  • Skenario 2: Waktu penjadwalan node belum tiba (Status node: Kuning Waiting for Scheduling Time).

    Skema: Misalkan waktu saat ini adalah 04:00. Node A2 dijadwalkan pukul 01:00, Node A3 pukul 03:00, dan Node B pukul 05:00. Node B bergantung pada node A2 dan A3.

    Analisis: Node leluhur A2 dan A3 telah berhasil berjalan. Namun, karena waktu penjadwalan Node B (05:00) belum tiba, status instans saat ini adalah Waiting for Scheduling Time.

    Kesimpulan: Node hanya berjalan setelah waktu penjadwalannya tiba.

  • Skenario 3: Sumber daya penjadwalan di proyek tidak mencukupi (Status node: Kuning Waiting for Resources).

    Skema: Misalkan waktu saat ini adalah 04:00. Node A2 dijadwalkan pukul 01:00, Node A3 pukul 03:00, dan Node B pukul 00:00. Node B bergantung pada node A2 dan A3.

    Analisis: Waktu penjadwalan Node B telah lewat, dan node leluhur A2 serta A3 telah berhasil berjalan. Namun, kelompok sumber daya node tersebut tidak memiliki sumber daya yang cukup, sehingga node tidak dapat memperoleh sumber daya penjadwalan untuk berjalan. Oleh karena itu, status instans saat ini adalah Waiting for Resources.

    Kesimpulan: Node hanya berjalan jika sumber daya penjadwalan yang cukup tersedia. (Saat node berada dalam status waiting for resources, log menunjukkan bahwa batas konkurensi untuk node di proyek telah tercapai dan node sedang menunggu sumber daya gerbang.)

    Catatan Jika node berjalan di kelompok sumber daya eksklusif, Anda dapat melihat kelompok sumber daya eksklusif tersebut di Konsol DataWorks. Periksa Resource Groups untuk melihat node yang sedang berjalan dan watermark sumber daya. Atau, Anda dapat mengklik kanan instans tersebut dan menggunakan fitur diagnosis cerdas untuk melihat node mana saja yang mengonsumsi sumber daya saat node saat ini sedang menunggu. Untuk informasi selengkapnya, lihat Waiting for resources.
  • Skenario 4: Node dibekukan (Status node: Ungu frozen).

    Skema: Misalkan waktu saat ini adalah 04:00. Node A2, yang dijadwalkan pukul 01:00, penjadwalannya dijeda. Node A3 dijadwalkan pukul 03:00, dan Node B dijadwalkan pukul 00:00. Node B bergantung pada node A2 dan A3.

    Analisis: Seperti dijelaskan dalam skenario pertama, node hanya dapat berjalan setelah semua node leluhurnya berhasil berjalan. Pada diagram kiri, Node B tidak akan berjalan karena node leluhurnya A2 dibekukan. Pada diagram kanan, Node B tidak akan berjalan karena node tersebut sendiri dibekukan, meskipun node leluhurnya telah berhasil berjalan.

    Kesimpulan: Node tidak akan berjalan jika node tersebut atau salah satu node leluhurnya dibekukan.