Jika suatu job berjalan lebih lama dari yang diharapkan dan LogView tidak dapat mengidentifikasi penyebabnya, gunakan fitur analisis job di Konsol MaxCompute untuk menentukan apakah kendala resource menjadi penyebabnya serta mengidentifikasi bottleneck spesifik.
Pengembang data dan administrator dapat melihat informasi konsumsi resource dari job historis dan job yang sedang berjalan di halaman job analysis Konsol MaxCompute.
Diagnosis situasi Anda
Sebelum menyelidiki lebih lanjut, cocokkan gejala Anda dengan akar penyebabnya:
| Symptom | Root cause | Recommended action |
|---|---|---|
| Job lambat; semua compute unit (CU) yang dipesan telah terpakai | Resource yang dipesan tidak mencukupi — kuota tidak memiliki ruang tambahan untuk job lain | Jadwalkan ulang job atau tingkatkan CU langganan |
| Job menghabiskan sebagian besar waktunya menunggu sebelum eksekusi dimulai | Persaingan resource — job lain dengan prioritas lebih tinggi menggunakan seluruh CU | Jadwalkan ulang job, tingkatkan prioritas job, atau tingkatkan CU langganan |
Langkah-langkah diagnosis dalam dokumen ini disederhanakan untuk kasus-kasus umum. Sesuaikan atribut job berdasarkan workload aktual Anda dan pantau dampaknya setelah setiap perubahan.
Skenario 1: Job berjalan lambat karena resource yang dipesan tidak mencukupi
Tim dengan kapasitas langganan 50 CU menjalankan lebih dari 10 batch job (lebih dari 1.000 job) setiap hari. Job 20240717020015831xxxxxxxxxxxx memakan waktu jauh lebih lama dan menghambat pemrosesan downstream.
Diagnosis job:
Masuk ke Konsol MaxCompute.
Di panel navigasi kiri, pilih Workspace > Jobs.
Cari job berdasarkan ID instans, lalu klik Analyze di kolom Actions.
Yang perlu diperhatikan: Semua 50 CU telah terpakai, dan job saat ini mengonsumsi sebagian besar di antaranya. Jumlah CU yang ditunggu oleh job pada tingkat kuota tetap tinggi. Kuota tidak memiliki kapasitas tersisa untuk permintaan job tambahan, sehingga job saat ini menerima lebih sedikit resource daripada yang dibutuhkan — menyebabkan job berjalan lambat.
Perbaiki masalah dengan salah satu pendekatan berikut:
Jadwalkan ulang waktu mulai job agar permintaan tersebar di luar periode puncak dan mengurangi persaingan terhadap pool CU tetap.
Tingkatkan CU langganan. Buka halaman Cost Optimization, tentukan waktu penyelesaian job yang diharapkan, dan tinjau rencana alokasi resource yang direkomendasikan.
Skenario 2: Job menunggu resource karena persaingan resource
Dengan pengaturan yang sama — kapasitas langganan 50 CU dan lebih dari 1.000 job harian — job 20240717020020365xxxxxxxxxxxx berjalan selama 21 menit 17 detik, dengan lebih dari separuh waktu tersebut dihabiskan untuk menunggu resource.
Diagnosis job:
Masuk ke Konsol MaxCompute.
Di panel navigasi kiri, pilih Workspace > Jobs.
Cari job berdasarkan ID instans, lalu klik Analyze di kolom Actions.
Yang perlu diperhatikan: Job menunggu resource selama 13 menit pertama setelah dikirim. Selama periode ini, penggunaan resource pada tingkat kuota mencapai batas atas — job lain telah mengklaim seluruh CU yang tersedia. Setelah 13 menit, job secara bertahap mendapatkan resource, tetapi penggunaan pada tingkat kuota tidak lagi mencapai batas atas.
Identifikasi job mana yang memblokir resource:
Klik titik waktu pada sumbu-x untuk melihat alokasi resource pada tingkat kuota pada saat itu, termasuk semua job yang running dan waiting. Pada pukul 10:04, job saat ini tidak memiliki resource: tiga job dengan prioritas 9 sedang mengonsumsi CU, dan lima job sedang menunggu.
Klik bilah warna Resource Allocation for Wait Jobs untuk menampilkan daftar job yang sedang menunggu resource. Job 20240717020015831gza7jdf21uv3 menguasai bagian besar CU pada titik waktu tersebut.
Konsumsi resource job 20240717020015831gza7jdf21uv3 menunjukkan bahwa job tersebut menduduki sejumlah besar resource komputasi pada titik waktu tersebut.
Perbaiki masalah dengan salah satu pendekatan berikut:
Jadwalkan ulang waktu mulai job untuk mengurangi tumpang tindih antar job yang bersaing.
Atur prioritas job. Ketika beberapa job meminta resource secara bersamaan, MaxCompute mengalokasikan CU terlebih dahulu kepada job dengan prioritas lebih tinggi. Tingkatkan prioritas job yang sensitif terhadap waktu agar mendapatkan resource sebelum job batch berprioritas rendah.
Tingkatkan CU langganan. Buka halaman Cost Optimization, tentukan waktu penyelesaian job yang diharapkan, dan tinjau rencana alokasi resource yang direkomendasikan.
Hasil setelah menyesuaikan prioritas: Setelah prioritas task diubah menjadi 0, waktu tunggu turun drastis dan job segera mendapatkan 50% dari CU yang dipesan. Waktu proses total turun dari 21 menit menjadi 6 menit.