MaxCompute:Pengamatan Sumber Daya

Prosedur

1. Masuk ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

2. Di panel navigasi sebelah kiri, klik Resource Observation.

3. Di halaman Resource Observation, klik tab Computing Resource.

4. Pilih kuota level-1, rentang waktu, dan interval waktu.

   Interval waktu menentukan frekuensi titik data. Anda dapat memilih interval adaptif atau interval 1 menit, 5 menit, atau 15 menit. Untuk memastikan kinerja, sistem secara otomatis mengatur interval ke adaptif jika rentang waktu melebihi 72 jam.

5. Klik ikon di sebelah kiri kuota level-2 target untuk melihat grafik tren konsumsi resourcenya. Anda dapat membuka beberapa grafik sekaligus.

6. Lihat daftar proyek yang terkait dengan setiap kuota level-2.

Metrik

Daftar kuota dan proyek terkait menunjukkan proyek mana saja yang telah menetapkan kuota level-2 terkait sebagai kuota komputasi default mereka.

Prosedur

1. Masuk ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

2. Di panel navigasi sebelah kiri, klik Resource Observation.

3. Di halaman Resource Observation, klik tab Storage Resource untuk melihat total penggunaan penyimpanan dan distribusi penyimpanan pada hari ini.

4. (Opsional) Pilih rentang waktu (default adalah 7d) dan proyek (default adalah semua proyek; Anda dapat memilih hingga delapan proyek) untuk melihat Storage Trend.

5. (Opsional) Di area Storage Details, pada tab Project Details, pilih tanggal (default adalah hari ini) untuk melihat penggunaan penyimpanan setiap proyek.

6. (Opsional) Di area Storage Details, pada tab Table/Partition Details, pilih tanggal (default adalah hari ini) dan proyek untuk melihat penggunaan penyimpanan detail tabel dan partisi dalam proyek tersebut.

Metrik

MaxCompute tidak mendukung penampilan penggunaan penyimpanan berdasarkan kolom. Untuk memperkirakan penyimpanan tingkat kolom, ekspor data tabel dan hitung penggunaannya untuk setiap kolom.

Prosedur

1. Masuk ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

2. Di panel navigasi sebelah kiri, pilih Workspace > Resource Observation.

3. Di halaman Resource Observation, klik tab Data Transmission Service.

4. Pilih kuota, proyek, rentang waktu, dan algoritma agregasi untuk mengkueri penggunaan setiap metrik.

Catatan penggunaan

Metrik

Prosedur

1. Masuk ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

2. Di panel navigasi sebelah kiri, klik Resource Observation.

3. Di halaman Resource Observation, klik tab Job Performance Observation.

4. Pilih parameter berikut untuk memfilter dan mengelompokkan pekerjaan. Hal ini memungkinkan Anda melihat pekerjaan tertentu dan mengelompokkan data metrik dalam grafik berdasarkan dimensi berbeda.

   Parameter	Deskripsi
   Time range	Wajib diisi. Memfilter pekerjaan yang telah selesai berdasarkan rentang waktu yang ditentukan (waktu mulai dan akhir). Anda dapat memilih rentang waktu preset atau mengonfigurasi rentang waktu khusus: 1d: 1 hari terakhir. 3d: 3 hari terakhir. 7d: 7 hari terakhir. Pilih periode tertentu: Klik daftar drop-down rentang waktu, pilih tanggal yang diinginkan, lalu klik Select Time untuk memilih periode waktu target. Catatan Rentang waktu default adalah hari terakhir. Rentang waktu maksimum adalah 7 hari, dan minimum adalah 1 jam. Anda dapat mencari pekerjaan dari 45 hari terakhir.
   Choose Project	Memfilter berdasarkan nama proyek MaxCompute. Catatan Secara default, semua proyek dipilih. Anda dapat memilih hingga 8 proyek.
   Select Quota	Memfilter berdasarkan kuota komputasi. Catatan Secara default, semua kuota komputasi dipilih. Anda dapat memilih hingga 8 kuota level-2. Untuk informasi selengkapnya tentang kuota komputasi, lihat Kelola kuota komputasi.
   Group By	Wajib diisi. Bergantung pada jenis grafik, Anda dapat mengelompokkan data dalam tampilan grafik berdasarkan berbagai dimensi. Nilai valid untuk Group By: No Group (Default): Menampilkan tren berbagai metrik untuk semua pekerjaan dalam rentang yang difilter dari waktu ke waktu. Project: Menampilkan berbagai metrik untuk semua pekerjaan dalam rentang yang difilter, dikelompokkan berdasarkan proyek. Catatan Saat Anda mengelompokkan berdasarkan proyek, Anda harus menentukan proyek dalam parameter filter, maksimal 8 proyek. Quotas: Menampilkan berbagai metrik untuk semua pekerjaan dalam rentang yang difilter, dikelompokkan berdasarkan kuota level-2. Catatan Saat Anda mengelompokkan berdasarkan kuota, Anda harus menentukan kuota dalam parameter filter, maksimal 8 kuota level-2. Job type: Menampilkan berbagai metrik untuk semua pekerjaan dalam rentang yang difilter, dikelompokkan berdasarkan jenis pekerjaan. SQL: Pekerjaan SQL. MCQA: Pekerjaan SQL MaxCompute Query Acceleration (MCQA). LOT: Pekerjaan MapReduce. CUPID: Pekerjaan Spark atau Mars. Algo_Task: Pekerjaan pembelajaran mesin. GRAPH: Pekerjaan komputasi graf. Job End Status: Menampilkan berbagai metrik untuk semua pekerjaan dalam rentang yang difilter, dikelompokkan berdasarkan status akhirnya. Success: Pekerjaan berhasil dijalankan. Failed: Pekerjaan gagal. Cancelled: Pekerjaan dibatalkan.

5. Klik Query untuk melihat statistik setiap metrik.

6. (Opsional) Pilih granularitas Data Summary untuk melihat statistik setiap metrik berdasarkan dimensi waktu yang dipilih.

   Parameter	Deskripsi
   By Hour	Meringkas data dalam interval satu jam. Ini menunjukkan statistik untuk pekerjaan yang selesai dijalankan dalam jam saat ini. Ini adalah pengaturan default. Misalnya, jika jam saat ini adalah 14.00 pada 6 Mei 2024, meringkas per jam menunjukkan statistik untuk pekerjaan yang selesai antara pukul 14.00 dan 15.00 pada 6 Mei 2024.
   By Day	Meringkas data dalam interval satu hari. Ini menunjukkan statistik untuk pekerjaan yang selesai dijalankan pada hari saat ini. Misalnya, jika tanggal saat ini adalah 6 Mei 2024, meringkas per hari menunjukkan statistik untuk pekerjaan yang selesai antara pukul 00.00 pada 6 Mei 2024 dan 00.00 pada 7 Mei 2024.

7. (Opsional) Pilih Comparison Period untuk melihat statistik historis dari tanggal atau jam sebelumnya.

   Default-nya adalah No Comparison. Opsi termasuk Previous 30 Days, Previous 7 Days, dan Previous 1 Day. Misalnya, untuk pukul 14.00 pada 6 Mei 2024, data perbandingan 30 hari adalah statistik dari pukul 14.00 pada 6 April 2024.

Metrik

• CU Usage Trend (Satuan: Core*H)

  Metrik	Deskripsi
  CPU-hour (Satuan: Core*H)	Jumlah CPU-hour yang dikonsumsi oleh pekerjaan yang telah selesai dalam rentang filter yang dipilih. Satu CPU-hour didefinisikan sebagai satu core CPU yang dikonsumsi selama satu jam. CPU-hour = Jumlah core CPU × Durasi.
  Memory-hour (Satuan: GB*H)	Jumlah memory-hour yang dikonsumsi oleh pekerjaan yang telah selesai dalam rentang filter yang dipilih. Satu memory-hour didefinisikan sebagai 1 GB memori yang dikonsumsi selama satu jam. Memory-hour = Ukuran memori × Durasi.
  CPU-hour/Top 10 Memory-Hour Consumption Analysis	Memberi peringkat 10 pekerjaan teratas berdasarkan konsumsi CPU-hour atau memory-hour. Fitur ini juga mencantumkan 10 Signature dan ExtNodeId teratas dengan total atau rata-rata konsumsi tertinggi dalam rentang filter yang dipilih.

• Job Runtime Period (Satuan: detik)

  Metrik	Deskripsi
  Average Value	Rata-rata waktu proses pekerjaan yang telah selesai dalam rentang filter yang dipilih.
  Maximum Value	Waktu proses terlama dari pekerjaan yang telah selesai dalam rentang filter yang dipilih.
  Minimum Value	Waktu proses terpendek dari pekerjaan yang telah selesai dalam rentang filter yang dipilih.
  Quantile	Waktu proses pekerjaan untuk persentil tertentu (termasuk persentil ke-1, ke-5, ke-10, ke-50, ke-90, ke-95, dan ke-99) dari pekerjaan yang telah selesai dalam rentang filter yang dipilih. Misalnya, persentil ke-99 menunjukkan bahwa 99% pekerjaan selesai dalam waktu proses tersebut.
  Top 10 Job Runtime Analysis	Menyediakan 10 pekerjaan teratas dengan total waktu proses terlama, serta 10 Signature dan ExtNodeId teratas dengan total atau rata-rata waktu proses terlama dalam rentang filter yang dipilih.

• Job Count Trend (Satuan: jumlah): Jumlah pekerjaan yang telah selesai dalam rentang filter yang dipilih.

• Job Input Size Trend (Satuan: GB, disesuaikan secara otomatis berdasarkan skala grafik): Jumlah data yang dipindai oleh pekerjaan yang telah selesai dalam rentang filter yang dipilih.

• Trend of Job Input Size per CU-Hour (Satuan: GB, disesuaikan secara otomatis berdasarkan skala grafik): Ukuran rata-rata data yang dipindai oleh pekerjaan per CU-hour dalam rentang filter yang dipilih. Satu CU-hour mencakup 1 core CPU dan 4 GB memori. Dihitung menggunakan rumus MAX(CPU-hour, CEILING(memory-hour/4)).

Anda juga dapat mengumpulkan statistik untuk metrik di atas menggunakan Information Schema tingkat penyewa. Perhatikan bahwa tabel Information Schema task_history berisi semua instans tugas yang dihasilkan dari operasi, sedangkan metrik pada tab Job Performance Observation di konsol hanya menghitung pekerjaan yang mengonsumsi resource komputasi. Oleh karena itu, hasil statistiknya mungkin berbeda.

Berikut adalah contoh kueri:

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- Jam saat pekerjaan selesai.
       -- to_char (end_time, 'yyyy-mm-dd'), -- Untuk granularitas harian, gunakan baris ini untuk menggantikan baris sebelumnya. Ini menunjukkan tanggal saat pekerjaan selesai.
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU-hour
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- Memory-hour
       avg(datediff(end_time, start_time, 'ss')), -- Rata-rata waktu proses pekerjaan
       min(datediff(end_time, start_time, 'ss')), -- Waktu proses pekerjaan minimum
       max(datediff(end_time, start_time, 'ss'))  -- Waktu proses pekerjaan maksimum
       -- status, -- Dasar pengelompokan: status: status pekerjaan; project: task_catalog; job type: task_type.
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- Ubah atau tambahkan kondisi filter lain sesuai kebutuhan.
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- Untuk granularitas harian, gunakan baris ini untuk menggantikan baris sebelumnya. Ini menunjukkan tanggal saat pekerjaan selesai.
         -- status, -- Dasar pengelompokan: status: status pekerjaan; project: task_catalog; job type: task_type.
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- Untuk granularitas harian, gunakan baris ini untuk menggantikan baris sebelumnya. Ini menunjukkan tanggal saat pekerjaan selesai.

FAQ

• Pertanyaan 1:

  • Q: Mengapa beberapa proyek atau kuota tidak muncul dalam legenda grafik setelah dikelompokkan?

  • A: Hal ini terjadi ketika jumlah pekerjaan untuk proyek atau kuota tersebut nol dalam rentang waktu yang dipilih.

• Pertanyaan 2:

  • Q: Mengapa data perbandingan untuk periode sebelumnya tidak tersedia?

  • A: Data mungkin tidak tersedia jika proyek atau kuota tersebut belum ada atau tidak memiliki pekerjaan selama periode perbandingan.