Topik ini memberikan gambaran umum tentang fitur diagnostik cerdas untuk pekerjaan SQL MaxCompute, termasuk hasil diagnostik dan saran untuk membantu menyelesaikan kesalahan pekerjaan atau meningkatkan kinerja kueri. Topik ini mencakup panduan mengenai cara mengakses hasil diagnostik serta menafsirkan analisisnya. Diagnostik cerdas mungkin hanya mengidentifikasi anomali tertentu dan memberikan rekomendasi terkait kinerja kueri secara keseluruhan karena sifat multifaset dari efisiensi kueri.
Untuk informasi lebih lanjut tentang diagnostik dan optimasi pekerjaan, lihat Kasus Diagnostik Logview dan Optimalkan Pernyataan SQL.
Batasan
Diagnostik cerdas tersedia secara eksklusif untuk pekerjaan SQL.
Lihat hasil dan saran diagnostik cerdas
Masuk ke Konsol MaxCompute dan pilih wilayah yang diinginkan dari pojok kiri atas.
Di panel navigasi sebelah kiri, pilih untuk mengakses halaman Jobs.
CatatanRentang waktu default untuk memfilter pekerjaan adalah satu jam, yang dapat disesuaikan berdasarkan kebutuhan spesifik eksekusi pekerjaan proyek Anda.
Di kolom Intelligent diagnostics untuk pekerjaan yang diinginkan, klik tag hasil diagnosis untuk dialihkan ke halaman Job Insights. Setelah itu, klik tab Job Summary untuk melihat penjelasan rinci mengenai hasil diagnosis dan rekomendasi optimasi.
Deskripsi hasil diagnostik
Kolom diagnostik cerdas kosong mungkin menunjukkan salah satu dari hal berikut:
Pekerjaan telah berhasil tanpa adanya anomali yang terdeteksi.
Hasil diagnostik cerdas akan dibuat pada hari berikutnya setelah pekerjaan selesai.
Pekerjaan dilakukan sebelum 1 November 2023.
Pekerjaan SQL yang dieksekusi di wilayah tertentu, termasuk China (Hong Kong), China East 2 Finance, China North 2 Finance (Preview), China North 2 Ali Gov 1, China South 1 Finance, Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), Inggris (London), AS (Silicon Valley), AS (Virginia), UEA (Dubai), dan SAU (Riyadh - Partner Region).
Untuk memulai diagnostik secara manual dan melihat hasil rinci, klik Insights di kolom Tindakan pekerjaan target pada halaman Jobs.
Tag merah mewakili diagnostik pesan kesalahan pekerjaan, sedangkan tag oranye menunjukkan diagnostik kinerja pekerjaan.
Tafsirkan hasil diagnostik cerdas
Berikut ini menjelaskan arti dari hasil diagnostik cerdas pekerjaan SQL dan solusi potensialnya.
Sumber daya tidak mencukupi
Pekerjaan dianggap memiliki sumber daya tidak mencukupi jika menggunakan kurang dari 95% dari sumber daya komputasi yang diminta selama lebih dari lima menit berturut-turut.
Untuk pekerjaan sumber daya komputasi pay-as-you-go, pool sumber daya bersama berarti bahwa pekerjaan tidak dapat memesan sumber daya dan harus bersaing untuk mendapatkannya. Sumber daya tidak mencukupi dapat terjadi karena preemption pengguna ketika ada banyak pekerjaan konkuren.
Pekerjaan sumber daya langganan mungkin menghadapi kekurangan sumber daya karena volume data besar, permintaan sumber daya tinggi, dan prioritas pekerjaan rendah, yang mengarah pada antrian sumber daya.
Untuk mengatasi ini, kunjungi halaman Job Insights untuk pekerjaan tersebut. Klik tab Resource Consumption, Lihat konsumsi sumber daya pekerjaan dan alokasi sumber daya kuota komputasi pada titik waktu tertentu untuk mengidentifikasi penyebab spesifik dari kekurangan sumber daya. Kemudian, Anda dapat mengoptimalkan eksekusi tugas berdasarkan kebutuhan bisnis, menyesuaikan prioritas pekerjaan, atau mengelola sumber daya komputasi sesuai kebutuhan.
Ketimpangan data
Ketimpangan data adalah masalah umum dalam komputasi data besar, sering kali ditandai dengan kemajuan eksekusi pekerjaan yang macet di 99%, memberi kesan bahwa pekerjaan tersebut macet. Fenomena ini berasal dari distribusi data yang tidak merata, menyebabkan beberapa worker menyelesaikan komputasi mereka dengan cepat sementara yang lain membutuhkan waktu lebih lama. Dalam era pertumbuhan data yang meledak-ledak, ketimpangan data dapat sangat memengaruhi efisiensi eksekusi program terdistribusi. Oleh karena itu, penting untuk mengidentifikasi masalah ketimpangan data sejak dini, menganalisis penyebabnya, dan menanganinya dengan segera.
MaxCompute mengidentifikasi ketimpangan data berdasarkan kriteria berikut:
Waktu worker dengan durasi terlama setidaknya tiga kali rata-rata waktu semua worker, dan rata-rata waktunya melebihi 30 detik.
Jumlah rekaman input dari worker mana pun setidaknya tiga kali rata-rata dari semua worker.
MaxCompute menyediakan nama node dari worker yang mengalami ketimpangan data, memungkinkan pemecahan masalah dan optimisasi melalui LogView. Untuk informasi lebih lanjut, lihat Gunakan LogView untuk Melihat Informasi Pekerjaan.
Untuk skenario dan solusi lebih lanjut terkait ketimpangan data, lihat Penyetelan Ketimpangan Data.
Pembengkakan data
Ketika jumlah rekaman output suatu pekerjaan melebihi sepuluh kali jumlah rekaman input, Fuxi Task dianggap memiliki masalah pembengkakan data.
MaxCompute menyediakan nama Fuxi Tasks dengan pembengkakan data, memungkinkan pemecahan masalah dan optimisasi melalui LogView. Untuk informasi lebih lanjut, lihat Gunakan LogView untuk Melihat Informasi Pekerjaan.
Untuk informasi lebih lanjut tentang penyebab dan solusi pembengkakan data, lihat Tangani Ekspansi Data.
Fallback mode
Pekerjaan MaxCompute dapat dijalankan dalam mode Akselerasi Query MaxCompute dan mode normal.
Pekerjaan dengan volume data besar yang tidak memerlukan pengembalian hasil kueri hanya dapat menggunakan mode normal. Oleh karena itu, dalam kondisi normal sumber daya dan pekerjaan, durasi runtime pekerjaan biasanya tidak menunjukkan fluktuasi signifikan.
Pekerjaan kueri interaktif dengan volume data kecil biasanya memicu mode akselerasi kueri, di mana kecepatan eksekusi pekerjaan lebih cepat daripada pekerjaan normal. Namun, MaxCompute tidak menjamin bahwa setiap pekerjaan masuk ke mode akselerasi kueri. Akibatnya, beberapa pekerjaan akselerasi kueri mungkin kembali ke pekerjaan normal, menyebabkan durasi runtime pekerjaan tidak sesuai harapan.
Masalah fallback mode ditentukan berdasarkan sub-status Task Rerun. Untuk menghindari ketidakpastian mode akselerasi kueri, Anda dapat menjalankan pekerjaan dalam mode normal dengan menambahkan set odps.service.mode=off; di awal skrip pekerjaan, sehingga mencegah kegagalan dan kehilangan waktu yang dipicu oleh mode.
MAPJOIN tabel kecil mendekati batas memori
Saat melakukan operasi join antara tabel besar dan kecil menggunakan MaxCompute, Anda dapat meningkatkan kinerja kueri dengan secara eksplisit menentukan hint mapjoin dalam pernyataan SELECT. mapjoin memuat semua data dari tabel kecil ke dalam memori selama tahap Map, membuatnya cocok hanya untuk tabel kecil, dengan total penggunaan memori tidak melebihi 512 MB setelah tabel dimuat. Jika MaxCompute mendeteksi bahwa penggunaan memori tabel kecil mendekati batas ini, ia akan memperingatkan risiko tabel kecil mendekati batas memori untuk mapjoin. Dalam kasus seperti itu, pertimbangkan untuk menghapus MAPJOIN HINT atau coba gunakan DISTRIBUTED MAPJOIN untuk menghindari kesalahan eksekusi pekerjaan yang disebabkan oleh tabel kecil melebihi batas memori.
Diagnostik pesan kesalahan pekerjaan
Untuk pekerjaan yang gagal, MaxCompute menghubungkan pesan kesalahan dengan jenis kesalahan dan memberikan deskripsi serta solusi yang relevan. Hanya beberapa jenis kesalahan SQL yang dicakup. Untuk pekerjaan yang gagal tanpa hasil diagnostik, lihat Ikhtisar Kode Kesalahan untuk mengidentifikasi dan menangani masalah.
Jika Anda memiliki pertanyaan atau memerlukan bantuan, silakan bergabung dengan komunitas pengembang MaxCompute (nomor grup DingTalk: 11782920) atau hubungi kami melalui grup DingTalk eksklusif Anda.
Referensi
Untuk informasi lebih lanjut tentang metrik jangka panjang, lihat Optimalkan Perhitungan untuk Metrik Jangka Panjang.
Untuk analisis sumber daya tingkat pekerjaan menggunakan fitur Job Insights di konsol MaxCompute untuk memahami konsumsi sumber daya pekerjaan dan mengoptimalkan waktu proses, lihat Praktik Terbaik untuk Analisis Sumber Daya Tingkat Pekerjaan.