MaxCompute:Praktik terbaik untuk analisis resource tingkat pekerjaan

Latar Belakang

Jika suatu pekerjaan berjalan dalam periode yang panjang tanpa selesai dan penyebabnya sulit diidentifikasi di LogView, atau jika waktu proses pekerjaan lebih lama dari yang diharapkan setelah selesai, Anda perlu menganalisis apakah kekurangan resource menjadi penyebabnya.

Developer data dan administrator dapat menggunakan fitur analisis pekerjaan di Konsol MaxCompute untuk meninjau pekerjaan historis dan yang sedang berjalan serta memahami detail konsumsi resource-nya.

Catatan Penggunaan

Metode evaluasi dalam kasus-kasus penggunaan ini disederhanakan untuk tujuan ilustratif. Di lingkungan produksi dunia nyata, Anda harus mempertimbangkan berbagai faktor. Sesuaikan properti pekerjaan berdasarkan kebutuhan spesifik Anda dan pantau hasilnya.

Kasus Penggunaan 1: Pekerjaan lambat akibat kekurangan resource

Sebuah perusahaan memiliki langganan untuk 50 CU resource komputasi reservasi. Lebih dari 1.000 pekerjaan, yang dikelompokkan dalam lebih dari sepuluh batch, dijalankan setiap hari menggunakan resource tersebut.

Seorang developer data memperhatikan bahwa pekerjaan dengan ID instans 20240717020015831xxxxxxxxxxxx berjalan terlalu lama, sehingga memengaruhi alur kerja downstream. Untuk menyelidiki, developer tersebut membuka halaman Workspace > Jobs di Konsol MaxCompute, menemukan pekerjaan tersebut, lalu mengklik Analyze pada kolom Actions.

Grafik konsumsi resource tingkat pekerjaan menunjukkan bahwa seluruh 50 CU resource komputasi reservasi dari langganan sedang digunakan. Meskipun pekerjaan ini mengonsumsi sebagian besar resource, jumlah CU yang menunggu pada tingkat kuota juga secara konsisten tinggi. Hal ini menunjukkan bahwa total resource komputasi reservasi tidak mencukupi untuk menangani semua permintaan pekerjaan secara tepat waktu. Pekerjaan saat ini juga mengalami kekurangan resource, sehingga berjalan lambat.

Jika Anda menghadapi situasi ini, pertimbangkan solusi berikut:

• Evaluasi apakah Anda dapat menyesuaikan waktu pengiriman pekerjaan untuk menghindari konflik sumber daya selama jam puncak.

• Jika waktu pengiriman pekerjaan tidak dapat diubah, pertimbangkan untuk meningkatkan kapasitas resource langganan Anda. Buka halaman Cost Optimization, tetapkan waktu penyelesaian pekerjaan yang diinginkan, lalu tinjau konfigurasi resource yang direkomendasikan oleh sistem.

Kasus Penggunaan 2: Konflik resource menunda dimulainya pekerjaan

Sebuah perusahaan memiliki langganan untuk 50 CU resource komputasi reservasi. Lebih dari 1.000 pekerjaan, yang dikelompokkan dalam lebih dari sepuluh batch, dijalankan setiap hari menggunakan resource tersebut.

Seorang developer data menemukan bahwa pekerjaan dengan ID instans 20240717020020365xxxxxxxxxxxx memengaruhi alur kerja downstream karena waktu prosesnya yang lama. Waktu proses total pekerjaan tersebut adalah 21 menit 17 detik, tetapi lebih dari separuh waktu tersebut dihabiskan untuk menunggu. Untuk mengetahui penyebab penundaan tersebut, developer tersebut membuka halaman Workspace > Jobs, menemukan pekerjaan tersebut, lalu mengklik Analyze pada kolom Actions.

Grafik tersebut menunjukkan bahwa selama 13 menit pertama setelah dikirim, pekerjaan tersebut menunggu alokasi resource. Selama periode tersebut, kuota telah sepenuhnya dimanfaatkan. Hal ini menunjukkan bahwa pekerjaan lain sedang menggunakan seluruh resource yang tersedia, sehingga mencegah pekerjaan ini dimulai. Setelah 13 menit, pekerjaan mulai mendapatkan resource secara bertahap, tetapi alokasinya tidak pernah mencapai batas kuota.

Anda dapat mengklik titik waktu pada sumbu horizontal grafik konsumsi resource untuk melihat detail alokasi resource pada kuota pada momen tertentu. Informasi ini mencakup distribusi resource untuk semua pekerjaan yang running dan waiting. Sebagai contoh, gambar menunjukkan bahwa pada pukul 10:04, tiga pekerjaan dengan prioritas 9 sedang mengonsumsi resource komputasi. Namun, pekerjaan saat ini tidak dialokasikan resource sama sekali, sementara lima pekerjaan lain juga sedang menunggu.

Klik blok warna yang sesuai dengan Resource Allocation for Wait Jobs untuk melihat daftar detail pekerjaan yang sedang menunggu. Gambar tersebut menunjukkan bahwa pekerjaan yang paling banyak mengonsumsi resource pada saat itu memiliki ID instans 20240717020015831gza7jdf21uv3.

Dengan menganalisis lebih dalam konsumsi resource pekerjaan 20240717020015831gza7jdf21uv3, terkonfirmasi bahwa pekerjaan tersebut memang mengonsumsi jumlah besar resource komputasi pada waktu tersebut.

Jika Anda menghadapi situasi ini, pertimbangkan ketiga solusi berikut:

• Evaluasi apakah Anda dapat menyesuaikan waktu pengiriman pekerjaan agar tidak ada banyak pekerjaan yang bersaing untuk resource komputasi terbatas.

• Evaluasi apakah Anda dapat menyesuaikan prioritas pekerjaan. Jika beberapa pekerjaan harus dimulai secara bersamaan, Anda dapat meningkatkan prioritas pekerjaan kritis. Saat beberapa pekerjaan meminta resource secara bersamaan, pekerjaan dengan prioritas lebih tinggi akan dialokasikan resource terlebih dahulu.

• Pertimbangkan untuk meningkatkan kapasitas resource langganan Anda. Anda dapat membuka halaman Cost Optimization, menetapkan waktu penyelesaian pekerjaan yang diinginkan, lalu meninjau konfigurasi resource yang direkomendasikan oleh sistem.

Setelah developer mengubah prioritas pekerjaan menjadi 0, eksekusi berikutnya menunjukkan peningkatan signifikan. Waktu tunggu pekerjaan berkurang, dan pekerjaan tersebut segera mendapatkan 50% dari resource komputasi reservasi. Waktu proses total turun dari 21 menit menjadi 6 menit.