Banyak faktor selain waktu terjadwal yang Anda konfigurasikan di DataStudio memengaruhi eksekusi sebuah task, termasuk waktu terjadwal dan waktu penyelesaian instans leluhur (ancestor instances), serta resource yang tersedia dalam kelompok sumber dayanya. Topik ini menjelaskan cara menggunakan fitur diagnosis eksekusi untuk mengidentifikasi dengan cepat mengapa sebuah task tidak berhasil dijalankan.
Prasyarat
Pastikan terdapat instans yang dipicu secara otomatis (auto triggered instance). Task terjadwal dijalankan secara otomatis sebagai instans yang dipicu secara otomatis. Instance Generation Mode yang Anda konfigurasikan untuk node di DataStudio menentukan cara pembuatan instans baru yang dipicu secara otomatis.
Informasi latar belakang
Di Operation Center, Anda dapat menentukan tahap eksekusi task atau mengidentifikasi penyebab kegagalan berdasarkan status instans, warna, dan ikonnya. Untuk informasi lebih lanjut, Anda dapat melihat data log.
Warna dan ikon instans: Operation Center menggunakan warna dan ikon berbeda untuk menunjukkan tahap task dalam proses eksekusi. Setiap warna dan ikon berkorespondensi dengan status eksekusi tertentu, sebagaimana dijelaskan dalam tabel berikut.
Status eksekusi instans: Anda juga dapat memeriksa mengapa sebuah task tidak dijalankan dengan melihat parameter Node Status pada tab Property di halaman detail instans.
|
No. |
Status |
Icon |
Flowchart |
|
1 |
Run Successfully |
|
|
|
2 |
Not run |
|
|
|
3 |
Failed To Run |
|
|
|
4 |
Running |
|
|
|
5 |
Wait time |
|
|
|
6 |
Freeze |
|
Jika instans leluhur tetap dalam status Running dalam jangka waktu lama, gunakan salah satu solusi berikut.
- Jika node sinkronisasi non-batch tetap dalam status running dan Anda ingin mengetahui penyebabnya, dapatkan dukungan melalui DingTalk. Pertama, klik tautan ini untuk bergabung ke grup "Alibaba Cloud Big Data & AI Platform". Kemudian, pindai kode QR untuk bergabung ke grup produk DataWorks, tempat Anda dapat bertanya kepada asisten cerdas atau staf piket untuk mendapatkan bantuan.
- Jika node sinkronisasi batch tetap dalam status running, kemungkinan besar sedang menunggu resource eksekusi atau prosesnya lambat. Untuk informasi lebih lanjut, lihat Cara memecahkan masalah node sinkronisasi batch yang berjalan lama.
Mengakses diagnosis eksekusi
Jika sebuah task tidak dijalankan atau gagal dijalankan, temukan instans bermasalah (seperti instans yang dipicu secara otomatis, instans pengisian ulang data, atau instans uji) di Operation Center. Lalu, buka halaman Intelligent Diagnosis dari menu Instance Diagnose untuk mengidentifikasi dengan cepat mengapa task tersebut tidak dijalankan. Prosedurnya ditunjukkan pada gambar berikut.
Alur kerja diagnosis eksekusi task
Keberhasilan eksekusi sebuah task bergantung pada banyak faktor, seperti dependensi hulu (upstream dependencies), waktu terjadwal, kelompok sumber daya, dan status eksekusinya sendiri. Jika sebuah task tidak dijalankan dalam waktu lama atau gagal dijalankan, gunakan fitur diagnosis eksekusi yang disediakan oleh DataWorks dan ikuti alur kerja berikut untuk mengidentifikasi penyebabnya.
Di halaman Intelligent Diagnosis, Anda dapat melakukan pemeriksaan berikut:
Item pemeriksaan | Deskripsi |
Setelah Anda mengonfigurasi dependensi untuk sebuah node, node tersebut hanya dapat dijalankan setelah semua task dependennya selesai. Anda dapat melihat langkah Upstream Nodes pada tab Operation Details untuk menemukan instans leluhur bermasalah. | |
Waktu penjadwalan node yang dikonfigurasi di DataStudio merupakan waktu eksekusi yang diharapkan untuk task tersebut. Anda dapat melihat langkah Timing Check pada tab Operation Details untuk menentukan apakah waktu eksekusi terjadwal telah tercapai. Jika semua instans leluhur dari node saat ini telah berhasil dijalankan—artinya data yang menjadi dependensinya telah dihasilkan—maka node tersebut akan memeriksa apakah waktu terjadwalnya sendiri telah tercapai untuk memutuskan apakah akan langsung dijalankan. | |
Umumnya, sebuah node hanya dijadwalkan setelah dua kondisi terpenuhi: semua instans leluhurnya telah selesai dan waktu terjadwal node saat ini telah tercapai. Namun, karena resource penjadwalan terbatas, jika kelompok sumber daya untuk penjadwalan tidak memiliki cukup resource untuk menjalankan task saat ini, task tersebut akan menunggu resource penjadwalan. Anda dapat melihat langkah Resources pada tab Operation Details untuk memeriksa penggunaan resource. | |
Ketika kondisi-kondisi di atas terpenuhi, DataWorks mengirimkan task ke resource atau layanan eksekusi. Jika task gagal, Anda dapat melihat langkah Execution pada tab Operation Details untuk menemukan penyebab kegagalannya dengan cepat. | |
Untuk task yang telah dikonfigurasi dengan Pemantauan Peringatan, Anda dapat melihat tab General, Influenced Baseline, dan Historical instance di halaman Intelligent Diagnostics untuk melihat aturan atau garis dasar yang memantau task tersebut dan memeriksa status pemicunya. |
Dependensi hulu
Bagian ini membantu Anda memahami bagaimana instans leluhur memengaruhi eksekusi task saat ini dan cara menemukan instans leluhur kunci yang menghambat task tersebut.
Dampak instans leluhur
Setelah Anda mengonfigurasi dependensi untuk sebuah node, node tersebut hanya dijalankan setelah semua instans leluhurnya selesai. Dampak instans leluhur terhadap task saat ini adalah sebagai berikut:
Kesuksesan instans leluhur menentukan apakah task saat ini dijalankan
Setelah Anda mengonfigurasi dependensi node, dependensi data secara default dibentuk antara task saat ini dan instans leluhurnya. Artinya, jika instans leluhur belum dijalankan, data hulu yang menjadi dependensi node saat ini belum dihasilkan, yang dapat menyebabkan masalah kualitas data. Oleh karena itu, task saat ini tidak hanya harus mencapai waktu terjadwalnya sendiri, tetapi juga memeriksa apakah semua instans leluhurnya telah selesai.
Waktu terjadwal instans leluhur menentukan waktu mulai paling awal untuk task saat ini
Instans leluhur memiliki waktu terjadwal sendiri dan hanya akan dijalankan ketika waktu tersebut tercapai. Jika waktu terjadwal task hilir lebih awal daripada leluhurnya, task hilir tidak akan dijadwalkan meskipun waktunya sendiri telah tercapai. Task tersebut harus menunggu instans leluhur selesai. Oleh karena itu, waktu terjadwal instans leluhur menentukan waktu mulai paling awal yang mungkin untuk task saat ini. Untuk informasi lebih lanjut, lihat Dampak dependensi terhadap eksekusi task.
Menemukan instans leluhur yang belum dieksekusi
Jika sebuah task berada dalam status Not Run (ditunjukkan oleh ikon 
), Anda dapat mengklik Run Diagnostics untuk membuka tab Operation Details. Lalu, klik Upstream Nodes untuk menganalisis secara otomatis dan menemukan dengan cepat instans leluhur yang belum dijalankan.
Fitur analisis hulu secara default melakukan traversal hingga enam level leluhur untuk menemukan task yang belum berhasil dijalankan. Jika tidak ditemukan, Anda dapat mengklik Upstream Analysis di UI untuk melanjutkan analisis.
Kasus khusus:
Node terisolasi: Jika sebuah task dalam status Not Run tidak memiliki leluhur saat Anda memperluas node hulu, maka task tersebut merupakan node terisolasi. Node terisolasi tidak dapat dijadwalkan secara otomatis. Konfigurasikan dependensi hulunya.
Leluhur yang dibekukan: Jika instans leluhur dibekukan (frozen), hal tersebut akan menghambat task hilir. Hubungi pemilik instans leluhur untuk mengonfirmasi alasan pembekuan dan sesuaikan logika bisnis Anda.
Waktu terjadwal
Waktu penjadwalan node yang ditentukan di DataStudio merupakan waktu eksekusi yang diharapkan untuk task tersebut. Hanya setelah semua instans leluhur dari node saat ini berhasil dijalankan (artinya data yang menjadi dependensinya telah dihasilkan), node saat ini akan memeriksa apakah waktu terjadwalnya sendiri telah tercapai. Hasil pemeriksaan ini menentukan apakah task akan langsung dieksekusi. Pemeriksaan ini umumnya memiliki dua hasil:
Waktu terjadwal untuk task saat ini telah tercapai, tetapi instans leluhur masih berjalan.
Dalam kasus ini, begitu semua instans leluhur selesai, task saat ini akan langsung dijalankan, asalkan tersedia resource yang cukup dalam kelompok sumber daya.
Semua instans leluhur telah selesai, tetapi waktu terjadwal untuk task saat ini belum tercapai.
Dalam kasus ini, task harus menunggu hingga waktu terjadwalnya tercapai. Jika task berada dalam status Waiting (ditunjukkan oleh ikon
), Anda dapat mengklik Run Diagnostics dan membuka halaman Timing Check untuk informasi lebih lanjut.
Resource penjadwalan
Ketika kondisi semua instans leluhurnya telah selesai dan waktu terjadwal node saat ini telah tercapai terpenuhi, task saat ini mulai dijadwalkan. Namun, karena resource penjadwalan terbatas, jika kelompok sumber daya untuk penjadwalan tidak memiliki cukup resource untuk menjalankan task saat ini, task tersebut akan menunggu resource penjadwalan.
Umumnya, resource penjadwalan berbeda dari resource eksekusi. Resource penjadwalan hanya bertanggung jawab untuk mengirimkan task ke resource eksekusi mesin komputasi. Jika sebuah task berjalan lama dan menduduki resource mesin, bahkan jika resource penjadwalan mengirimkan task lain ke mesin tersebut, task tersebut akan terblokir karena kurangnya resource mesin. Untuk informasi lebih lanjut, lihat diagram di Ikhtisar kelompok sumber daya DataWorks.
Menemukan task yang menduduki resource
Jika sebuah task sedang menunggu resource (ditunjukkan oleh ikon ), Anda dapat mengklik Run Diagnostics untuk membuka halaman Resources. Di sana, Anda dapat melihat task mana saja yang saat ini menduduki resource dan melakukan penyesuaian yang diperlukan.
Skenario menunggu resource
Jika sebuah task yang biasanya berjalan tepat waktu tiba-tiba mulai menunggu resource, periksa skenario berikut.
Skenario | Deskripsi |
Task abnormal menduduki resource dalam waktu lama, sehingga menghambat task lain. | Periksa langkah Resources pada tab Operation Details untuk melihat apakah ada task yang menduduki resource dalam waktu lama. Lihat log eksekusinya untuk menentukan penyebabnya. |
Jumlah task yang berjalan di kelompok sumber daya meningkat. | Peningkatan jumlah task di kelompok sumber daya saat ini dapat menyebabkan task saat ini menunggu resource. Anda dapat menyesuaikan prioritas task atau kelompok sumber daya yang digunakan sesuai kebutuhan. |
Terdapat task yang mengonsumsi memori tinggi. | Konfirmasi dengan tim Anda apakah terdapat task Shell atau PyODPS yang mengonsumsi sejumlah besar memori dari kelompok sumber daya eksklusif. |
Kelompok sumber daya bersama untuk penjadwalan digunakan bersama oleh beberapa penyewa. Selama jam sibuk (biasanya dari
00:00~09:00), dapat terjadi konflik sumber daya yang menyebabkan keterlambatan eksekusi task. Jika Anda mengalami masalah menunggu resource dengan kelompok sumber daya bersama untuk penjadwalan, kami menyarankan untuk memigrasikan task Anda ke kelompok sumber daya eksklusif untuk penjadwalan. Untuk informasi lebih lanjut, lihat Billing kelompok sumber daya eksklusif untuk penjadwalan.Jumlah maksimum thread paralel yang didukung oleh kelompok sumber daya eksklusif untuk penjadwalan bergantung pada spesifikasi yang Anda beli. Untuk detail jumlah task yang didukung oleh spesifikasi berbeda, lihat Billing kelompok sumber daya eksklusif untuk penjadwalan.
Eksekusi task
Ketika kondisi eksekusi di atas terpenuhi, DataWorks mengirimkan task ke resource atau layanan eksekusi. Untuk informasi lebih lanjut tentang mekanisme pengiriman task, lihat Ikhtisar kelompok sumber daya DataWorks.
Jika sebuah task berada dalam status Failed (ditunjukkan oleh ikon 
), Anda dapat membuka Operation Details > Execution untuk melihat penyebab kegagalannya.
Penyebab umum kegagalan eksekusi task meliputi:
Eksekusi kode task gagal (logika sinkronisasi data atau pemrosesan data gagal).
Validasi aturan kualitas data untuk tabel output task gagal (aturan kualitas data yang terkait dengan task gagal divalidasi).
Task dibekukan.
Eksekusi task SQL
Untuk task SQL, Anda dapat melihat log eksekusi detail langsung di halaman Execution dalam tab Operation Details. DataWorks mengirimkan task ke engine yang sesuai untuk dieksekusi. Jika pernyataan SQL gagal, konsultasikan dokumentasi engine tersebut untuk mengidentifikasi penyebabnya.
Eksekusi task sinkronisasi
Jika task sinkronisasi Data Integration mulai dijalankan, artinya sistem penjadwalan DataWorks telah mulai menjadwalkannya. Namun, periksa log eksekusi detail untuk menentukan apakah task benar-benar telah mulai menyinkronkan data. Untuk informasi lebih lanjut tentang analisis log task Data Integration, lihat Analisis log sinkronisasi batch. Masalah umum pada task sinkronisasi adalah sebagai berikut:
Log sinkronisasi data mencetak WAIT dalam waktu lama
Jika log terus-menerus mencetak WAIT, artinya sistem penjadwalan DataWorks telah mengirimkan task sinkronisasi, tetapi kelompok sumber daya sinkronisasi tidak memiliki cukup resource untuk mengeksekusinya. Task tersebut menunggu task lain selesai dan melepaskan resource.
Sebagai contoh, kelompok sumber daya eksklusif untuk Data Integration berkapasitas 4C8G mendukung maksimal delapan thread paralel. Jika Anda memiliki tiga task yang masing-masing dikonfigurasi dengan tiga thread paralel dan dua di antaranya berjalan secara konkuren, mereka menggunakan enam thread. Dalam kasus ini, mesin hanya memiliki dua thread paralel yang tersedia. Task ketiga, yang memerlukan tiga thread, masuk ke status menunggu karena kurangnya resource, dan log menampilkan
wait. Dalam skenario ini, Anda dapat membuka Operation Details > Execution > Data Integration untuk melihat task mana yang menduduki resource dan jumlah resource yang digunakan masing-masing task.CatatanSebuah task Data Integration menduduki satu resource penjadwalan. Jika sebuah task tidak selesai dalam waktu lama, task tersebut dapat menghambat task lain.
Jika pemanfaatan resource tinggi tetapi tidak ada task yang benar-benar berjalan, atau jika task tidak dapat dijalankan meskipun jumlah task yang dapat dieksekusi di kelompok sumber daya belum mencapai batasnya, klik tautan aplikasi atau pindai kode QR berikut untuk bergabung ke grup DingTalk DataWorks guna mendapatkan dukungan pra-penjualan dan purna-jual. Anda dapat @ chatbot cerdas untuk bantuan atau menghubungi insinyur piket selama jam layanan. Kode QR untuk grup DingTalk DataWorks adalah sebagai berikut.
CatatanJumlah maksimum thread paralel yang dapat didukung oleh kelompok sumber daya eksklusif untuk Data Integration bergantung pada spesifikasi yang dibeli. Untuk informasi lebih lanjut, lihat Billing kelompok sumber daya eksklusif untuk Data Integration.
Sinkronisasi data gagal
Jika task sinkronisasi gagal, rujuk pesan error detail dan dokumentasi plugin spesifik untuk mengidentifikasi penyebabnya. Untuk informasi lebih lanjut, lihat FAQ tentang Data Integration.
Peringatan task
Untuk task yang telah dikonfigurasi dengan Pemantauan Peringatan, klik View Details di area prompt pada halaman Run Diagnostics. Di kotak dialog Monitoring Details, lihat daftar aturan atau garis dasar yang memantau task saat ini dan status pemicunya.
Informasi diagnosis ini hanya muncul jika Pemantauan Peringatan telah dikonfigurasi untuk task tersebut. Untuk informasi lebih lanjut, lihat Diagnosis informasi peringatan task.