Pantau resource MaxCompute Anda, termasuk resource subscription, konsumsi job pay-as-you-go, untuk memahami status operasionalnya sehingga Anda dapat segera melakukan peningkatan resource atau menjadwalkan ulang job. Anda juga dapat mengonfigurasi aturan peringatan. Ketika suatu metrik memenuhi kondisi yang ditentukan, Cloud Monitor secara otomatis mengirimkan notifikasi, membantu Anda mendeteksi dan menangani anomali dengan cepat.
Solusi pemantauan dan peringatan
MaxCompute mendukung pemantauan dan peringatan melalui metode berikut:
Gunakan Cloud Monitor untuk memantau metrik untuk resource subscription, konsumsi job real-time.
Gunakan dashboard untuk melihat grafik pemantauan secara real time dan melacak perubahan setiap metrik.
Buat aturan peringatan kustom dan tambahkan kontak peringatan. Ketika suatu metrik mencapai atau melebihi ambang batas yang ditentukan, Cloud Monitor secara otomatis mengirimkan notifikasi kepada kontak yang ditetapkan. Metode notifikasi yang didukung mencakup panggilan telepon, pesan SMS, email, dan chatbot DingTalk.
Login ke MaxCompute console. Pada Overview, Anda dapat melihat jumlah peringatan untuk setiap metrik di bagian Alert and Risk Warnings.
Gunakan client MaxCompute untuk memantau konsumsi job SQL individual. Untuk informasi lebih lanjut tentang pemantauan konsumsi SQL, lihat Single SQL consumption limit.
Metrik
Tabel berikut mencantumkan jenis metrik dan metrik yang didukung oleh MaxCompute.
Metric type | Metric category | Metric | Description |
MaxCompute-Subscription Compute Quota | level1 | Level 1 quota CPU utilization | Persentase penggunaan CPU dari kuota level 1 relatif terhadap jumlah total (CU reserved + CU reserved fleksibel). Satuan: %. Data dikumpulkan setiap menit. |
Level 1 quota CPU usage | Total penggunaan CPU dari kuota level 1. Satuan: core. Data dikumpulkan setiap menit. | ||
Level 1 quota MEM utilization | Persentase penggunaan memori dari kuota level 1 relatif terhadap total memori (reserved + reserved fleksibel). Satuan: %. Data dikumpulkan setiap menit. | ||
Level 1 quota MEM usage | Penggunaan memori dari kuota level 1. Satuan: MB. Data dikumpulkan setiap menit. | ||
level2 | Level 2 quota CPU utilization | Persentase penggunaan CPU dari kuota level 2 relatif terhadap jumlah total (Min CU reserved + CU reserved fleksibel). Satuan: %. Data dikumpulkan setiap menit. | |
Level 2 quota CPU usage | Total penggunaan CPU dari kuota level 2. Satuan: core. Data dikumpulkan setiap menit. | ||
Level 2 quota MEM utilization | Persentase penggunaan memori dari kuota level 2 relatif terhadap total memori (Min reserved + reserved fleksibel). Satuan: %. Data dikumpulkan setiap menit. | ||
Level 2 quota MEM usage | Penggunaan memori dari kuota level 2. Satuan: MB. Data dikumpulkan setiap menit. | ||
Level 2 quota waiting jobs | Jumlah job yang menunggu dalam kuota level 2. Satuan: count. Data dikumpulkan setiap menit. | ||
MaxCompute-General | Tunnel | Project-level Tunnel download traffic | Metrik ini mengukur trafik download real time di tingkat proyek. Anda dapat menetapkan maksimum trafik download (byte/menit). Peringatan dipicu jika ambang batas ini tercapai atau dilampaui. |
Project-level Tunnel upload traffic | Metrik ini mengukur trafik upload real time di tingkat proyek. Anda dapat menetapkan maksimum trafik upload (byte/menit). Peringatan dipicu jika ambang batas ini tercapai atau dilampaui. | ||
Project-level Tunnel cumulative daily download volume | Metrik ini mengukur volume download harian kumulatif untuk suatu proyek. Anda dapat menetapkan volume data maksimum (MB). Peringatan dipicu jika ambang batas ini tercapai atau dilampaui. | ||
Project-level Tunnel cumulative daily upload volume | Metrik ini mengukur volume upload harian kumulatif untuk suatu proyek. Anda dapat menetapkan volume data maksimum (MB). Peringatan dipicu jika ambang batas ini tercapai atau dilampaui. | ||
Project-level current Tunnel concurrency (slots) | Metrik ini mengukur jumlah slot konkuren yang sedang digunakan oleh proyek yang dipilih. Peringatan dipicu jika ambang batas tercapai atau dilampaui. | ||
Tenant-level current Tunnel concurrency (slots) | Metrik ini mengukur jumlah slot konkuren yang sedang digunakan oleh penyewa yang dipilih. Peringatan dipicu jika ambang batas tercapai atau dilampaui. | ||
Job | Job runtime | Metrik ini memantau semua job dalam proyek MaxCompute. Jika waktu proses (termasuk waktu tunggu) suatu job melebihi ambang batas yang ditentukan, sistem mengirimkan pemberitahuan peringatan kepada kontak peringatan berdasarkan aturan peringatan yang dikonfigurasi. Penting Job dengan waktu proses kurang dari 1 menit tidak dapat dipantau. | |
Job runtime (SQL type) | Metrik ini memantau semua job SQL dalam proyek MaxCompute. Jika waktu proses (termasuk waktu tunggu) suatu job SQL melebihi ambang batas yang ditentukan, sistem mengirimkan pemberitahuan peringatan kepada kontak peringatan berdasarkan aturan peringatan yang dikonfigurasi. Penting Job dengan waktu proses kurang dari 1 menit tidak dapat dipantau. | ||
Job runtime (SQL type, by submitter) | Metrik ini memantau waktu proses (termasuk waktu tunggu) semua job SQL dalam proyek MaxCompute. Ketika waktu proses suatu job SQL melebihi ambang batas yang ditentukan, sistem mengirimkan pemberitahuan peringatan kepada kontak peringatan berdasarkan aturan peringatan yang dikonfigurasi. Peringatan tersebut mencakup informasi pengirim job untuk membantu penerima mengidentifikasi pemilik job. Penting Job dengan waktu proses kurang dari 1 menit tidak dapat dipantau. | ||
Cost | Daily Storage API read consumption | Metrik ini mengukur konsumsi data baca harian kumulatif (satuan: GiB) dari Storage API di tingkat proyek. Peringatan dipicu jika ambang batas tercapai atau dilampaui. Catatan Setiap penyewa berhak atas kuota bulanan gratis sebesar 1 TB untuk pembacaan dan penulisan data melalui Storage API. Pemantauan dimulai setelah konsumsi melebihi 1 TB. | |
Monthly Storage API read consumption | Metrik ini mengukur konsumsi data baca bulanan kumulatif (satuan: GiB) dari Storage API di tingkat proyek. Peringatan dipicu jika ambang batas tercapai atau dilampaui. Catatan Setiap penyewa berhak atas kuota bulanan gratis sebesar 1 TB untuk pembacaan dan penulisan data melalui Storage API. Pemantauan dimulai setelah konsumsi melebihi 1 TB. | ||
Daily Storage API write consumption | Metrik ini mengukur konsumsi data tulis harian kumulatif (satuan: GiB) dari Storage API di tingkat proyek. Peringatan dipicu jika ambang batas tercapai atau dilampaui. Catatan Setiap penyewa berhak atas kuota bulanan gratis sebesar 1 TB untuk pembacaan dan penulisan data melalui Storage API. Pemantauan dimulai setelah konsumsi melebihi 1 TB. | ||
Monthly Storage API write consumption | Metrik ini mengukur konsumsi data tulis bulanan kumulatif (satuan: GiB) dari Storage API di tingkat proyek. Peringatan dipicu jika ambang batas tercapai atau dilampaui. Catatan Setiap penyewa berhak atas kuota bulanan gratis sebesar 1 TB untuk pembacaan dan penulisan data melalui Storage API. Pemantauan dimulai setelah konsumsi melebihi 1 TB. | ||
Daily consumption of pay-as-you-go jobs (USD) | Metrik ini mengukur biaya harian kumulatif job SQL dan MapReduce di tingkat proyek. Anda dapat menetapkan ambang batas biaya harian maksimum (USD). Peringatan dipicu jika ambang batas ini tercapai atau dilampaui. | ||
Monthly consumption of pay-as-you-go jobs (USD) | Metrik ini mengukur biaya bulanan kumulatif job SQL dan MapReduce di tingkat proyek. Anda dapat menetapkan ambang batas biaya bulanan maksimum (USD). Peringatan dipicu jika ambang batas ini tercapai atau dilampaui. | ||
Storage | Project-level standard storage size | Total penyimpanan standar yang digunakan oleh proyek. Satuan: GB. Data dikumpulkan setiap jam. | |
Project-level IA storage size | Total penyimpanan IA yang digunakan oleh proyek. Satuan: GB. Data dikumpulkan setiap jam. | ||
Project-level IA storage access percentage in the last 30 days | Nilai dihitung menggunakan rumus berikut: | ||
Project-level archive storage size | Total penyimpanan arsip yang digunakan oleh proyek. Satuan: GB. Data dikumpulkan setiap jam. | ||
Project-level archive storage access percentage in the last 180 days | Nilai dihitung menggunakan rumus berikut: |
Anda dapat mengonfigurasi dashboard atau aturan peringatan untuk metrik-metrik ini. Untuk informasi lebih lanjut, lihat Configure a dashboard atau Configure an alert rule.
Konfigurasi dashboard
Login ke Cloud Monitor console.
Di panel navigasi kiri, pilih .
Pada halaman Custom Dashboards, klik Create Dashboard. Di kotak dialog Create Dashboard, masukkan Board Name, pilih Folder, lalu klik OK.
Klik nama dashboard yang baru dibuat. Pada halaman yang muncul, klik Add Visualization Widget.
Di pojok kanan atas halaman, Anda dapat memilih jenis grafik, seperti line chart, bar chart, statistical chart, gauge, meter, pie chart, table, facet chart, stream chart, atau histogram.
Di area Query Analysis, pilih Cloud Service Monitoring untuk Data Source Plugin. Kemudian, Anda dapat mengonfigurasi metrik lainnya.
Untuk informasi selengkapnya tentang cara mengelola grafik pemantauan, lihat Mengelola grafik pemantauan di Dasbor khusus.
Konfigurasi aturan peringatan
Anda dapat menetapkan aturan peringatan untuk metrik apa pun yang dijelaskan dalam bagian Metrics.
Contoh berikut menunjukkan cara mengonfigurasi aturan peringatan untuk kelompok sumber daya. Tujuannya adalah memicu peringatan ketika utilisasi CU atau memori dari kelompok kuota MaxCompute subscription melebihi nilai tertentu. Misalkan kelompok sumber daya yang dipantau dikonfigurasi dengan 150 CU. Satu core yang sepenuhnya digunakan merepresentasikan 100% utilisasi. Oleh karena itu, utilisasi maksimum untuk kelompok sumber daya tersebut adalah 15.000%. Anda dapat menetapkan ambang batas peringatan ke nilai lebih besar dari 12.000%. Jika Anda menerima peringatan, artinya kelompok sumber daya tersebut hampir mencapai kapasitas penuh, dan job berikutnya mungkin akan masuk antrean. Hal ini memungkinkan Anda melakukan peningkatan kelompok sumber daya atau menjadwalkan ulang job sesuai kebutuhan.
Login ke Cloud Monitor console.
Di panel navigasi kiri, klik .
Pada halaman Alert Rules, klik Create Alert Rule.
Pada halaman Create Alert Rule, konfigurasikan parameter untuk aturan peringatan berdasarkan skenario. Untuk informasi lebih lanjut tentang parameter tersebut, lihat Create an alert rule. Untuk informasi lebih lanjut tentang cara mengonfigurasi kontak peringatan, lihat Create an alert contact or an alert contact group.
Tabel berikut menjelaskan parameter utama untuk skenario ini.
Parameter
Description
Product
Dari daftar drop-down, pilih MaxCompute_Subscription.
Resource Range
Dari daftar drop-down, pilih Instances.
Associated Resources
Klik Add Instance. Pada halaman Add Instance, pilih kelompok kuota subscription di wilayah tempat proyek MaxCompute Anda berada, lalu klik OK. Untuk informasi lebih lanjut tentang kelompok kuota, lihat Quota management for computing resources.
Rule Description
Klik , dan di panel Configure Rule Description, konfigurasikan parameter berikut:
Alert Rule: Masukkan nama untuk aturan peringatan.
Metric Type: Pilih Simple Metric.
Metric: Dari daftar drop-down, pilih metrik penggunaan CPU yang sesuai.
CatatanJika instance yang ditambahkan adalah kelompok kuota level 1, pilih . Jika instance yang ditambahkan adalah kelompok kuota level 2, pilih .
Anda juga dapat memantau jumlah job yang menunggu. Jika penggunaan CPU tinggi dan banyak job menunggu selama beberapa periode statistik berturut-turut, Anda mungkin perlu menyesuaikan alokasi sumber daya.
Klik Confirm untuk menyelesaikan konfigurasi aturan peringatan.
Dokumen terkait
Untuk menetapkan batas konsumsi dan peringatan untuk job komputasi pay-as-you-go, lihat Consumption control.