MaxCompute：Gunakan observasi sumber daya

Prosedur

1. Masuk ke Konsol MaxCompute, lalu pilih wilayah di bilah navigasi atas.

2. Di panel navigasi kiri, pilih Workspace > Resource Observation.

3. Di halaman Observasi Sumber Daya, klik tab Data Transmission Service.

4. Pilih kuota, proyek, rentang waktu, dan algoritma agregasi untuk menanyakan data setiap metrik.

Catatan Penggunaan

Prosedur

1. Masuk ke Konsol MaxCompute, lalu pilih wilayah di bilah navigasi atas.

2. Di panel navigasi kiri, klik Resource Observation.

3. Di halaman Resource Observation, klik tab Job Performance Observation.

4. Anda dapat menyaring dan mengelompokkan pekerjaan yang ingin dilihat berdasarkan parameter berikut dan mengelompokkan data metrik dalam grafik berdasarkan dimensi yang berbeda.

   Parameter	Deskripsi
   Time Period	Wajib. Rentang waktu (waktu mulai dan waktu akhir) yang digunakan untuk menyaring pekerjaan yang telah selesai. Anda dapat memilih rentang waktu preset atau mengonfigurasi rentang waktu kustom. 1d: hari sebelumnya. 3d: 3 hari sebelumnya. 7d: 7 hari sebelumnya. Rentang waktu kustom: Klik daftar drop-down, pilih tanggal, lalu klik Select Time untuk memilih rentang waktu. Catatan Rentang waktu default adalah hari sebelumnya. Rentang waktu maksimum adalah 7 hari dan rentang waktu minimum adalah 1 jam. Anda hanya dapat mencari pekerjaan dalam 45 hari terakhir.
   Project Name	Nama proyek MaxCompute yang digunakan untuk menyaring pekerjaan yang telah selesai. Catatan Secara default, semua proyek dipilih. Anda dapat memilih hingga delapan proyek.
   Quota	Kuota komputasi yang digunakan untuk menyaring pekerjaan yang telah selesai. Catatan Secara default, semua kuota komputasi dipilih. Anda dapat memilih hingga delapan kuota tingkat-2. Untuk informasi lebih lanjut tentang kuota komputasi, lihat Manage quotas for computing resources in the new MaxCompute console.
   Group By	Wajib. Kelompok data dalam grafik. Anda dapat mendefinisikan kelompok berdasarkan dimensi dan jenis grafik. Nilai valid: No Group: Menampilkan tren metrik dari waktu ke waktu untuk semua pekerjaan dalam rentang filter yang dipilih. Ini merupakan nilai default. Project: menampilkan metrik semua pekerjaan dalam rentang filter yang dipilih berdasarkan proyek. Catatan Jika Anda memilih Proyek, Anda harus menentukan Nama Proyek dalam parameter filter dan memilih hingga delapan proyek. Quota Menampilkan metrik dari semua pekerjaan dalam rentang filter yang dipilih berdasarkan kuota tingkat-2. Catatan Jika Anda memilih Kuota, Anda harus menentukan Kuota dalam parameter filter dan memilih hingga delapan kuota tingkat-2. Job Type: Menampilkan metrik dari semua pekerjaan dalam rentang filter yang dipilih berdasarkan jenis pekerjaan. SQL: Pekerjaan SQL. SQLRT: Pekerjaan SQL MaxCompute Query Acceleration (MCQA). LOT: Pekerjaan MapReduce. CUPID: Pekerjaan Spark atau Mars. Algo_Task: Pekerjaan pembelajaran mesin. GRAPH: Pekerjaan komputasi graf. Job End Status: menampilkan metrik semua pekerjaan dalam rentang filter yang dipilih berdasarkan status ketika pekerjaan berakhir. Sukses: Pekerjaan berhasil. Gagal: Pekerjaan gagal. Dibatalkan: Pekerjaan dibatalkan.

5. Klik Search untuk melihat statistik setiap metrik.

6. Opsional. Pilih Data Summary untuk melihat statistik setiap metrik berdasarkan rentang waktu yang dipilih.

   Parameter	Deskripsi
   By Hour	Satu jam adalah granularitas waktu. Jika Anda memilih Per Jam, statistik data pekerjaan yang selesai dalam jam saat ini ditampilkan. Secara default, data dengan granularitas per jam ditampilkan. Contohnya, jika titik waktu saat ini adalah 14:00 pada 6 Mei 2024, statistik setiap metrik pekerjaan yang selesai dalam rentang waktu dari 14:00 hingga 15:00 pada 6 Mei 2024 ditampilkan.
   By Day	Satu hari adalah granularitas waktu. Jika Anda memilih Per Hari, statistik data pekerjaan yang selesai dalam hari saat ini ditampilkan. Contohnya, jika tanggal saat ini adalah 6 Mei 2024, statistik setiap metrik pekerjaan yang selesai dalam rentang waktu dari 00:00 pada 6 Mei 2024 hingga 00:00 pada 7 Mei 2024 ditampilkan.

7. Pilih opsi untuk Comparison Period untuk melihat statistik data historis hari atau jam yang diperoleh dengan mengurangi jumlah hari atau jam yang ditentukan dalam Periode Perbandingan dari tanggal atau jam saat ini.

   Nilai default: No Comparison. Anda juga dapat memilih Previous 30 Days, Previous 7 Days, atau Previous 1 Day. Contohnya, jika titik waktu saat ini adalah 14:00 pada 6 Mei 2024 dan 30 Hari Sebelumnya dipilih, data pada 14:00 pada 6 April 2024 digunakan untuk dibandingkan dengan data saat ini.

Metrik

• CU Usage Trend (Unit: Core × Jam)

  Nama Metrik	Deskripsi
  CPU-hour (Unit: Core × Jam)	Jumlah CPU-hours yang dikonsumsi untuk pekerjaan yang telah selesai dalam rentang filter yang dipilih. 1 CPU-hour merujuk pada konsumsi 1 core CPU selama 1 jam. Jumlah CPU-hours = Jumlah core CPU × Durasi
  Memory-hour (Unit: GB × Jam)	Jumlah memory-hours yang dikonsumsi untuk pekerjaan yang telah selesai dalam rentang filter yang dipilih. 1 memory-hour merujuk pada konsumsi ruang memori 1 GB selama 1 jam. Jumlah memory-hours = Ruang memori × Durasi.
  Top 10 CPU-Hour Consumption Analysis atau Top 10 Memory-Hour Consumption Analysis	Menampilkan 10 pekerjaan teratas yang mengonsumsi CPU-hours atau memory-hours paling banyak serta 10 tanda tangan dan ExtNodeIds teratas dari pekerjaan yang diurutkan berdasarkan total CPU-hour tertinggi, rata-rata CPU-hour tertinggi, total memory-hour tertinggi, dan rata-rata memory-hour tertinggi dalam rentang filter yang dipilih.

• Job Runtime Period (Unit: detik)

  Nama Metrik	Deskripsi
  Average Runtime Duration	Durasi runtime rata-rata pekerjaan yang telah selesai dalam rentang filter yang dipilih.
  Maximum Runtime Duration	Durasi runtime maksimum pekerjaan yang telah selesai dalam rentang filter yang dipilih.
  Minimum Runtime Duration	Durasi runtime minimum pekerjaan yang telah selesai dalam rentang filter yang dipilih.
  Select a quantile runtime duration	Durasi yang diperlukan untuk menyelesaikan kuantil tertentu dari pekerjaan dalam rentang filter yang dipilih. Kuantil bisa berupa kuantil ke-1, kuantil ke-5, kuantil ke-10, kuantil ke-50, kuantil ke-90, kuantil ke-95, atau kuantil ke-99. Contohnya, untuk kuantil ke-99, metrik ini menunjukkan durasi yang diperlukan untuk menyelesaikan 99% pekerjaan.
  Top 10 Job Runtime Analysis	Menampilkan 10 pekerjaan teratas dengan durasi runtime terpanjang dan 10 tanda tangan dan ExtNodeIds teratas dari pekerjaan yang diurutkan berdasarkan total durasi runtime terpanjang dan durasi runtime rata-rata terpanjang.

• Job Count Trend (Unit: hitungan): menampilkan jumlah pekerjaan yang selesai dalam rentang filter yang dipilih.

• Job Scan Amount Trend (Unit: GB): menampilkan jumlah data yang dipindai oleh pekerjaan yang telah selesai dalam rentang filter yang dipilih. Unit secara otomatis berubah dan unit yang sebenarnya digunakan ditampilkan dalam grafik.

• Trend of Job Scan Amount per CU-Hour (Unit: GB): menampilkan jumlah rata-rata data yang dipindai oleh pekerjaan per CU-hour dalam rentang filter yang dipilih. Unit secara otomatis berubah dan unit yang sebenarnya digunakan ditampilkan dalam grafik. 1 CU mencakup 1 core CPU dan 4 GB memori. Nilainya dihitung menggunakan MAX(CPU-hours, Roundup(Memory-hours/4)).

Anda juga dapat menggunakan Skema Informasi Tingkat Tenant untuk mengumpulkan statistik pada metrik-metrik sebelumnya. Anda perlu memperhatikan bahwa tabel Information Schema task_history berisi instance tugas yang dihasilkan oleh semua operasi. Namun, data metrik yang ditampilkan pada tab Observasi Kinerja Pekerjaan di konsol hanya diperoleh dari pekerjaan yang mengonsumsi sumber daya komputasi. Oleh karena itu, hasil statistik yang diperoleh menggunakan Skema Informasi Tingkat Tenant mungkin berbeda dari hasil statistik yang ditampilkan pada tab Observasi Kinerja Pekerjaan.

Perintah SQL berikut menunjukkan sebuah contoh.

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- Jam ketika pekerjaan selesai.
       -- to_char (end_time, 'yyyy-mm-dd'), -- Tanggal ketika pekerjaan selesai. Jika granularitas harian digunakan, gunakan baris ini untuk menggantikan baris sebelumnya.
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU-hours.
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- Memory-hours.
       avg(datediff(end_time, start_time, 'ss')), -- Durasi runtime rata-rata pekerjaan.
       min(datediff(end_time, start_time, 'ss')), -- Durasi runtime minimum pekerjaan.
       max(datediff(end_time, start_time, 'ss'))  -- Durasi runtime maksimum pekerjaan.
       -- status, -- Dasar pengelompokan: status: status pekerjaan; project: task_catalog; jenis pekerjaan: task_type. 
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- Anda dapat menambahkan kondisi filter lain berdasarkan kebutuhan bisnis Anda.
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- Tanggal ketika pekerjaan selesai. Jika granularitas harian digunakan, gunakan baris ini untuk menggantikan baris sebelumnya.
         -- status, -- Dasar pengelompokan: status: status pekerjaan; project: task_catalog; jenis pekerjaan: task_type.
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- Tanggal ketika pekerjaan selesai. Jika granularitas harian digunakan, gunakan baris ini untuk menggantikan baris sebelumnya.

FAQ

• Pertanyaan 1:

  • Deskripsi masalah: Setelah pekerjaan dikelompokkan berdasarkan proyek atau kuota, beberapa proyek atau kuota tidak ditampilkan dalam grafik.

  • Penyebab yang mungkin: Tidak ada pekerjaan yang tersedia di proyek atau kuota tersebut.

• Pertanyaan 2:

  • Deskripsi masalah: Setelah periode perbandingan dipilih, data yang sesuai dengan periode perbandingan tidak tersedia.

  • Penyebab yang mungkin: Proyek atau kuota mungkin belum dibuat atau telah dihapus dalam periode perbandingan. Tidak ada pekerjaan yang tersedia di proyek atau kuota dalam periode perbandingan.