All Products
Search

This Product

    MaxCompute:Diagnostik pekerjaan cerdas

    Document Center

    MaxCompute:Diagnostik pekerjaan cerdas

    Last Updated:Jun 13, 2026

    Topik ini menjelaskan fitur diagnostik cerdas untuk pekerjaan SQL MaxCompute. Fitur ini menyediakan hasil diagnostik dan saran optimasi untuk membantu Anda menangani error pekerjaan atau meningkatkan performa kueri, serta menjelaskan cara melihat dan menginterpretasikan diagnostik tersebut. Karena performa kueri bergantung pada banyak faktor, diagnostik cerdas hanya mengidentifikasi anomali tertentu dan memberikan rekomendasi sebagian.

    Untuk panduan diagnostik dan tuning pekerjaan yang lebih komprehensif, lihat Praktik terbaik diagnostik Logview dan Tuning SQL.

    Batasan

    Diagnostik saat ini hanya didukung untuk pekerjaan SQL.

    Lihat hasil dan saran diagnostik cerdas

    1. Masuk ke MaxCompute console dan pilih wilayah di pojok kiri atas.

    2. Di panel navigasi sebelah kiri, pilih Observation O&M > Jobs.

      Catatan

      Rentang waktu default untuk mengkueri pekerjaan adalah satu jam. Sesuaikan rentang ini sesuai kebutuhan berdasarkan waktu proses pekerjaan aktual di proyek Anda.

    3. Klik tag hasil diagnostik di kolom Intelligent Diagnostics untuk pekerjaan target Anda. Hal ini akan membawa Anda ke halaman Job Insights. Lihat penjelasan diagnostik detail dan saran optimasi di bawah tab Job Summary.

    Deskripsi hasil diagnostik

    • Kolom Intelligent Diagnostics kosong jika salah satu kondisi berikut berlaku:

      • Pekerjaan berjalan normal tanpa anomali yang terdeteksi.

      • Pekerjaan selesai pada hari yang sama. Hasil diagnostik cerdas dihasilkan keesokan harinya dan diberi tag sesuai.

      • Pekerjaan dijalankan sebelum 1 November 2023.

      • Pekerjaan SQL dijalankan di salah satu wilayah berikut: Tiongkok (Hong Kong), Cloud Keuangan Tiongkok Timur 2, Cloud Keuangan Tiongkok Utara 2 (Hanya Berdasarkan Undangan), Ali Gov Cloud 1 Tiongkok Utara 2, Cloud Keuangan Tiongkok Selatan 1, Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jerman (Frankfurt), Inggris (London), AS (Silicon Valley), AS (Virginia), UEA (Dubai), atau SAU (Riyadh - Wilayah Mitra).

      Untuk melihat diagnostik detail, buka halaman Jobs dan klik Insights di kolom Actions untuk pekerjaan target Anda guna memicu diagnostik secara manual.

    • Tag merah menunjukkan diagnosis error pekerjaan. Tag oranye menunjukkan diagnosis performa.

    Interpretasi hasil diagnostik cerdas

    Bagian berikut menjelaskan makna hasil diagnostik cerdas pekerjaan SQL dan solusinya.

    Sumber daya tidak mencukupi

    Suatu pekerjaan ditandai sebagai kekurangan sumber daya jika penggunaan sumber daya komputasinya tetap di bawah 95% dari jumlah yang diminta selama lebih dari lima menit.

    • Untuk pekerjaan pay-as-you-go, pool resource yang dibagikan tidak memungkinkan Anda menentukan penggunaan secara eksplisit. Sumber daya dialokasikan sesuai permintaan melalui preemption oleh pengguna. Jika terlalu banyak pekerjaan berjalan sekaligus, kontensi tinggi dapat mencegah pekerjaan Anda mendapatkan sumber daya yang diminta.

    • Untuk pekerjaan berbasis subscription, volume data besar, permintaan sumber daya tinggi, atau prioritas pekerjaan rendah dapat menyebabkan antrian sumber daya.

    Buka halaman Job Insights untuk pekerjaan Anda. Di bawah tab Resource Consumption, tinjau konsumsi sumber daya dan alokasi kuota pekerjaan Anda pada waktu tertentu untuk mengidentifikasi akar penyebabnya. Kemudian optimalkan eksekusi task dengan menyesuaikan prioritas pekerjaan atau mengelola sumber daya komputasi sesuai kebutuhan.

    Data skew

    Data skew merupakan masalah umum dalam komputasi data besar. Masalah ini sering muncul sebagai pekerjaan yang tersangkut di 99% penyelesaian, sehingga terkesan eksekusi terhenti. Hal ini terjadi ketika distribusi data tidak merata—beberapa worker selesai dengan cepat sementara yang lain membutuhkan waktu jauh lebih lama. Di era pertumbuhan data yang sangat pesat saat ini, data skew berdampak signifikan terhadap efisiensi program terdistribusi. Deteksi sejak dini, analisis penyebabnya, dan segera atasi.

    MaxCompute menandai suatu pekerjaan sebagai data skew jika salah satu kondisi berikut terpenuhi:

    • Worker dengan waktu proses terpanjang membutuhkan setidaknya tiga kali lipat rata-rata waktu proses worker, dan rata-rata waktu proses melebihi 30 detik.

    • Setidaknya satu worker memproses tiga kali lipat atau lebih catatan input dibandingkan rata-rata worker.

    MaxCompute menyediakan nama worker (node) yang terdampak sehingga Anda dapat menyelidiki dan melakukan tuning menggunakan LogView. Untuk detailnya, lihat Gunakan Logview untuk melihat informasi waktu proses pekerjaan.

    Untuk skenario dan solusi data skew lainnya, lihat Tuning data skew.

    Data bloat

    Fuxi Task ditandai mengalami data bloat jika jumlah catatan output-nya melebihi sepuluh kali jumlah catatan input-nya.

    MaxCompute menyediakan nama Fuxi Task yang terdampak sehingga Anda dapat menyelidiki dan melakukan tuning menggunakan LogView. Untuk detailnya, lihat Gunakan Logview untuk melihat informasi waktu proses pekerjaan.

    Untuk informasi lebih lanjut mengenai penyebab dan penanganan data bloat, lihat Optimasi data bloat.

    Mode backoff

    Pekerjaan MaxCompute dapat berjalan dalam mode Query Acceleration (MaxQA) atau mode standar.

    • Pekerjaan dengan volume data besar yang tidak mengembalikan hasil kueri hanya dapat menggunakan Mode NAT. Dalam kondisi normal, waktu prosesnya tetap stabil.

    • Kueri interaktif dengan volume data kecil biasanya memicu mode Query Acceleration, yang berjalan lebih cepat daripada Mode NAT. Namun, MaxCompute tidak menjamin setiap pekerjaan akan masuk ke mode Query Acceleration. Jika terjadi fallback ke Mode NAT, waktu proses dapat melebihi ekspektasi.

    Perilaku ini berlaku untuk MCQA (Query Acceleration 1.0), yang menggunakan pemicuan otomatis. MaxQA (Query Acceleration 2.0) memerlukan penugasan eksplisit ke kelompok Quota interaktif dan tidak memiliki mekanisme pemicuan otomatis maupun auto-backoff. Untuk detailnya, lihat Panduan Pengguna Query Acceleration MaxQA.

    MaxCompute menentukan apakah suatu pekerjaan mengalami masalah fallback mode berdasarkan substatus Task Rerun. Untuk menjalankan pekerjaan langsung dalam Mode NAT dan menghindari kegagalan atau pemborosan waktu akibat upaya menggunakan mode akselerasi kueri, tambahkan set odps.service.mode=off; pada baris pertama kode pekerjaan. MaxQA tidak mendukung penonaktifan melalui metode ini.

    MAPJOIN small table near memory limit

    Saat melakukan join antara tabel besar dan tabel kecil di MaxCompute, Anda dapat meningkatkan performa kueri dengan secara eksplisit menentukan hint mapjoin dalam pernyataan SELECT Anda. mapjoin memuat seluruh tabel kecil ke dalam memori selama fase Map. Fitur ini hanya berlaku untuk tabel kecil, dan tabel yang dimuat tidak boleh melebihi batas memori 512 MB. Jika MaxCompute mendeteksi bahwa tabel kecil mendekati batas ini, sistem akan memberi peringatan risiko memori potensial terkait mapjoin. Dalam kasus ini, pertimbangkan untuk menghapus MAPJOIN HINT atau menggunakan DISTRIBUTED MAPJOIN untuk mencegah overflow memori dan kegagalan pekerjaan.

    Diagnostik pesan error pekerjaan

    Untuk pekerjaan yang gagal, MaxCompute mencocokkan pesan error dengan kategori error yang dikenal dan memberikan deskripsi serta solusi. Saat ini cakupannya hanya mencakup beberapa error terkait SQL. Untuk kegagalan tanpa diagnostik, konsultasikan kode kesalahan untuk menemukan dan menyelesaikan masalah tersebut.

    Jika Anda memiliki pertanyaan atau membutuhkan bantuan, isi formulir aplikasi grup DingTalk untuk bergabung dengan grup komunitas developer MaxCompute (ID grup DingTalk: 11782920) atau hubungi grup dukungan DingTalk khusus Anda.

    Referensi