Gunakan fitur O&M pekerjaan di MaxCompute untuk melihat pekerjaan historis dan yang sedang berjalan, meninjau detail eksekusi pekerjaan, menganalisis beban sumber daya selama runtime, serta mengelola pekerjaan Anda.
Fitur
Fitur operasi pekerjaan di MaxCompute memungkinkan Anda melihat dan mengelola pekerjaan historis maupun yang sedang berjalan.
Bagi developer data, fitur ini menyederhanakan tugas harian seperti meninjau detail pekerjaan, mengidentifikasi pengecualian dan masalah, serta merespons pekerjaan bermasalah dengan menghentikan atau menghentikan secara batch.
Bagi administrator, fitur ini membantu memantau beban sumber daya pada kelompok kuota, sehingga mereka dapat mengelola sumber daya sistem secara efektif dan meningkatkan kinerja eksekusi pekerjaan.
Pada halaman Jobs di konsol MaxCompute, Anda dapat mengonfigurasi kondisi filter untuk menemukan pekerjaan target, melihat detailnya, dan melakukan analisis. Fungsi spesifiknya adalah sebagai berikut:
Operasi
Filter pekerjaan
Filter pekerjaan dengan menentukan parameter. Untuk deskripsi parameter yang didukung, lihat Deskripsi parameter pekerjaan.
Urutkan pekerjaan
Secara default, pekerjaan diurutkan berdasarkan waktu selesai secara descending, dengan pekerjaan yang belum selesai ditampilkan terlebih dahulu. Anda dapat melakukan pengurutan satu kolom atau pengurutan multi-kolom lanjutan.
Pengurutan satu kolom: Anda dapat mengurutkan kolom apa pun yang memiliki ikon pengurutan secara ascending atau descending.
Pengurutan multi-kolom lanjutan: Klik tombol Advanced Sorting di pojok kanan atas daftar. Klik Add Sort untuk menambahkan beberapa nama kolom, tentukan urutan pengurutan untuk setiap kolom sebagai Ascend atau Descend, lalu klik OK untuk menerapkan pengurutan multi-kolom.
Saat pengurutan lanjutan aktif, pengurutan satu kolom dinonaktifkan. Untuk mengaktifkan kembali pengurutan satu kolom, klik tombol Advanced Sorting, klik Reset, lalu klik OK.
Lihat detail pekerjaan
Pada daftar pekerjaan, klik LogView di kolom Actions untuk membuka halaman LogView, tempat Anda dapat melihat status eksekusi, detail, dan hasilnya.
Hentikan pekerjaan
Anda dapat Terminate atau Stop pekerjaan yang Latest Status-nya adalah
Running.Wawasan Pekerjaan
Pada daftar pekerjaan, klik Insights di kolom Actions untuk pekerjaan tertentu guna melihat ikhtisar pekerjaan, detail konsumsi sumber daya, alokasi sumber daya kelompok kuotanya pada waktu tertentu, serta memicu diagnosis pekerjaan cerdas.
Saat ini, diagnosis pekerjaan cerdas hanya mendukung pekerjaan SQL.
Data konsumsi sumber daya tingkat pekerjaan hanya tersedia untuk pekerjaan SQL, MapReduce, Spark, atau Mars yang berjalan selama dua menit atau lebih.
Grafik statistik pekerjaan
Berdasarkan kriteria filter Anda, diagram batang bertumpuk menampilkan jumlah pekerjaan berdasarkan waktu dan status, memberikan gambaran umum eksekusi pekerjaan.
Interval waktu untuk setiap batang bergantung pada Time Range yang dipilih:
Jika Time Range dalam rentang 24 jam: Setiap batang merepresentasikan interval minimum 2 menit. Jumlah batang bersifat adaptif, maksimal 24.
Jika Time Range lebih dari 24 jam hingga 48 jam: Setiap batang merepresentasikan interval 2 jam. Jumlah batang bersifat adaptif, maksimal 24.
Jika Time Range lebih dari 48 jam hingga 7 hari: Setiap batang merepresentasikan interval 6 jam. Jumlah batang bersifat adaptif, maksimal 29.
Status pekerjaan yang termasuk dalam statistik adalah:
Running: Snapshot pekerjaan memiliki status Running.
Finished: Status pekerjaan adalah Succeeded, Failed, atau Terminated.
Karena data snapshot pekerjaan dikumpulkan setiap tiga menit, beberapa pekerjaan mungkin tidak tertangkap. Akibatnya, status snapshot untuk suatu pekerjaan bisa kosong meskipun pekerjaan tersebut sedang berjalan.
Anda dapat mengklik dan menyeret di dalam grafik untuk memilih serta memperbesar rentang waktu yang lebih sempit.
Daftar pekerjaan
Daftar pekerjaan menampilkan pekerjaan yang sesuai dengan kriteria filter Anda dan menyediakan informasi penting tentangnya. MaxCompute menyediakan dua tampilan daftar untuk skenario berbeda: Regular Job List dan Snapshot List.
Regular Job List: Menampilkan informasi untuk semua pekerjaan yang berjalan dalam periode waktu tertentu.
Snapshot List: Menampilkan snapshot pekerjaan yang sedang berjalan pada titik waktu tertentu. Termasuk status snapshot, serta penggunaan CPU dan memori, jumlah permintaan, dan persentasenya terhadap total pada saat snapshot diambil.
Untuk penjelasan rinci parameter yang ditampilkan di daftar pekerjaan, lihat Deskripsi parameter pekerjaan.
Batasan
Informasi pekerjaan berikut saat ini tidak dikumpulkan:
Data snapshot pekerjaan dikumpulkan setiap tiga menit. Oleh karena itu, pekerjaan yang dimulai dan selesai dalam satu interval pengumpulan tiga menit tidak tertangkap dalam snapshot.
Data untuk beberapa pekerjaan MaxCompute yang diinisiasi melalui PAI, terutama yang berasal dari Pengguna RAM, tidak dapat dikumpulkan.
Data dari pekerjaan di proyek Edisi Developer (akan dihentikan) tidak dapat dikumpulkan.
Karena latensi pemrosesan data, saat Anda melihat daftar pekerjaan saat ini, pekerjaan mungkin menunjukkan status saat ini sebagai Running meskipun sebenarnya telah selesai di LogView. Hal ini lebih umum terjadi pada pekerjaan yang sangat singkat. Selalu anggap status di LogView sebagai acuan yang pasti.
Parameter
Parameter filter pekerjaan global
Parameter ini memengaruhi grafik statistik pekerjaan dan daftar pekerjaan.
Parameter | Deskripsi |
Time Range |
|
Choose Project | Memfilter pekerjaan berdasarkan nama proyek MaxCompute. Anda dapat memilih beberapa proyek. Secara default, bidang ini kosong. |
Select Quota |
|
Job Type |
|
Parameter pencarian daftar pekerjaan
Gunakan parameter ini untuk mempersempit hasil di daftar pekerjaan. Parameter ini hanya memengaruhi daftar pekerjaan.
Parameter | Deskripsi |
Instance ID |
|
Job Owner |
|
ExtNodeId |
|
ExtNodeName | Mencari berdasarkan nama pekerjaan dari sistem asal pekerjaan MaxCompute. |
Signature | Mencari berdasarkan signature pekerjaan SQL. Parameter ini hanya berlaku untuk pekerjaan SQL. Gunakan signature ini untuk menemukan semua instans dari setiap eksekusi kueri SQL yang sama. Secara default, bidang ini kosong. |
Parameter filter kolom daftar pekerjaan
Gunakan parameter ini untuk memfilter lebih lanjut daftar pekerjaan. Parameter ini hanya memengaruhi daftar pekerjaan. Untuk menerapkan filter, klik ikon filter
di samping nama kolom.
Parameter | Deskripsi |
Latest Status |
|
Priority |
|
Intelligent Diagnostics |
|
Kolom daftar umum
Nama kolom | Deskripsi |
Instance ID | ID instans unik untuk pekerjaan MaxCompute. Kolom ini juga menampilkan proyek, kelompok kuota, dan jenis pekerjaan.
|
Latest Status | Status terbaru dari pekerjaan. |
Job Owner | Akun Alibaba Cloud yang menjalankan pekerjaan MaxCompute. Anda dapat menggunakan informasi ini untuk mengidentifikasi orang yang bertanggung jawab atas pekerjaan tersebut. Jika suatu pekerjaan mengonsumsi sumber daya berlebihan dan memengaruhi tugas lain, Anda dapat menghubungi pemilik pekerjaan untuk menghentikannya. Untuk petunjuk cara menghentikan pekerjaan, lihat Operasi instans. |
Priority | Prioritas pekerjaan, yang berkisar dari 0 hingga 9. Angka lebih kecil menunjukkan prioritas lebih tinggi. Pekerjaan dengan prioritas lebih tinggi mendapatkan sumber daya komputasi sebelum pekerjaan dengan prioritas lebih rendah. Untuk informasi lebih lanjut, lihat Prioritas pekerjaan. |
Submission Time | Waktu saat instans dikirimkan. |
Start Running Time | The time when the job received the first computing resource. If the running time of a job is too short or a job does not consume computing resources, such as DDL statements, use the submission time of the job instead. Kolom ini disembunyikan secara default. Anda dapat menampilkannya dengan menyesuaikan pengaturan kolom. |
Waiting Duration | The duration from the time a job is submitted to the time it starts to run. If the job has no start time, the duration from the submission time to the snapshot time is displayed. Kolom ini disembunyikan secara default. Anda dapat menampilkannya dengan menyesuaikan pengaturan kolom. |
Execution Duration | The duration from the start time to the end time of a job. Kolom ini disembunyikan secara default. Anda dapat menampilkannya dengan menyesuaikan pengaturan kolom. |
End Time | The end time of a job. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated. |
Total Used CPU Resources | Total sumber daya CPU yang dikonsumsi pekerjaan selama eksekusinya. Satuannya adalah |
Total Amount of Used Memory Resources | Total sumber daya memori yang dikonsumsi pekerjaan selama eksekusinya. Satuannya adalah |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Usage Percentage Snapshot | The latest memory usage percentage collected 1 minute before the job deadline of the time range. It is calculated by using the formula: Memory Size Occupied/(Minimum Reserved CU Memory + Minimum Elastically Reserved CU Memory). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Input Size | Jumlah data masukan yang diproses pekerjaan. |
Intelligent Diagnostics | Tag yang dihasilkan berdasarkan hasil fitur Intelligent Diagnosis. |
ExtPlatformId | Klien yang menginisiasi pekerjaan, seperti DataWorks. Pihak penginisiasi harus mengirimkan informasi saat memulai pekerjaan. Untuk konvensi data yang diperlukan, lihat Konvensi Pengenal Universal Pekerjaan. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. Pihak penginisiasi harus memberikan informasi saat mengirimkan pekerjaan. Untuk konvensi informasi ini, lihat Konvensi Pengenal Pekerjaan Umum. |
ExtNodeName | The task name that corresponds to the job initiator, such as the name of a DataWorks scheduling node.. Pihak penginisiasi wajib mengirimkan informasi saat memulai pekerjaan. Untuk konvensi informasi, lihat Konvensi Pengenal Pekerjaan Umum. |
ExtNodeOnDuty | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node. Pihak penginisiasi harus mengirimkan informasi saat memulai pekerjaan. Untuk konvensi pengiriman informasi, lihat Konvensi Pengenal Umum Pekerjaan. |
Signature | The signature of an SQL job. You can use this signature to search for the instance on which the SQL job runs. |
Kolom daftar snapshot
Nama Kolom | Deskripsi |
Instance ID | ID instans unik untuk pekerjaan MaxCompute. Kolom ini juga menampilkan proyek, kelompok kuota, dan jenis pekerjaan.
|
Snapshot Time | The time when snapshot information is collected for the job. |
Snapshot Status | The status of a job at the snapshot time. |
Job Owner | Akun Alibaba Cloud yang menjalankan pekerjaan MaxCompute. Anda dapat menggunakan informasi ini untuk mengidentifikasi orang yang bertanggung jawab atas suatu pekerjaan. Jika suatu pekerjaan mengonsumsi sumber daya secara berlebihan dan memengaruhi tugas lain, Anda dapat menghubungi pemilik pekerjaan tersebut untuk menghentikan pekerjaan tersebut. Untuk petunjuk cara menghentikan pekerjaan, lihat Operasi instans. |
Priority | Prioritas pekerjaan, yang berkisar dari 0 hingga 9. Angka yang lebih kecil menunjukkan prioritas yang lebih tinggi. Pekerjaan dengan prioritas lebih tinggi mendapatkan sumber daya komputasi sebelum pekerjaan dengan prioritas lebih rendah. Untuk informasi selengkapnya, lihat Prioritas pekerjaan. |
CPU Cores in Use | Number of CPU cores in use for a job at the snapshot time. |
Requested CPU Cores | The number of requested CPU cores of a job at the snapshot time. |
CPU Satisfaction Rate | Number of CPU cores in use/Number of requested CPU cores of a job at the snapshot time. |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Size Occupied | The size of requested memory space of a job at the snapshot time. Unit ditampilkan secara adaptif. |
Requested Memory Size | The size of requested memory space of a job at the snapshot time. Unit ditampilkan secara adaptif. |
Memory Satisfaction Rate | Memory size occupied/Requested memory size of a job at the snapshot time. |
Memory Usage Percentage Snapshot | The memory usage percentage of a job at the observation time, which is calculated by using the following formula: Amount of used memory resources/(Amount of reserved memory resources + Amount of elastically reserved memory resources). Metrik ini tidak tersedia untuk pekerjaan pay-as-you-go atau jika snapshot tidak berhasil diambil. |
Submission Time | The time when a job was submitted. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated. |
ExtPlatformId | Client yang memulai pekerjaan, seperti DataWorks. Pihak yang memulai harus meneruskan informasi saat mengirim pekerjaan. Untuk konvensi mengenai informasi ini, lihat Konvensi Pengenal Pekerjaan Umum. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. Client harus meneruskan informasi saat memulai pekerjaan. Untuk konvensi mengenai informasi ini, lihat Konvensi Pengenal Pekerjaan Umum. |
ExtNodeOnDuty | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node. Pihak yang memulai harus meneruskan informasi saat memulai pekerjaan. Untuk konvensi penerusan informasi, lihat Konvensi Pengenal Pekerjaan Umum. |
Signature | The signature of an SQL job. You can use this signature to search for the instance on which the SQL job runs. |
Skenario O&M umum
Lihat detail eksekusi pekerjaan tertentu
Kasus penggunaan
Skenario ini mencakup melihat status eksekusi pekerjaan yang diinisiasi oleh node penjadwalan DataWorks per jam atau mengaudit pekerjaan MaxCompute tertentu.
Prosedur
Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih .
Pada halaman Jobs, pilih Time Range dan klik Search.
Di atas daftar pekerjaan, pilih ExtNodeId atau Instance ID dan masukkan nilai yang sesuai untuk pekerjaan tersebut.
Klik ikon
untuk memfilter kembali daftar pekerjaan.Dalam hasil kueri, klik LogView di kolom Actions untuk sebuah instans guna melihat informasi eksekusi detailnya. Untuk informasi lebih lanjut tentang LogView, lihat Lihat informasi eksekusi pekerjaan menggunakan LogView 2.0.
Lihat detail eksekusi pekerjaan berdasarkan periode waktu
Kasus penggunaan
Skenario ini mencakup melihat pekerjaan yang dijalankan untuk Project_1 dan Project_2 selama hari terakhir, menganalisis pekerjaan mana yang gagal, dan menangani pekerjaan yang gagal tersebut.
Prosedur
Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih .
Atur Time Range menjadi 1d, atau atur Time Range kustom dari
00:00:00pada hari ini hingga waktu saat ini.Dari daftar drop-down Choose Project, pilih Project_1 dan Project_2.
Dalam hasil kueri, klik LogView di kolom Actions untuk sebuah instans guna melihat informasi eksekusi detailnya. Untuk informasi lebih lanjut tentang LogView, lihat Lihat informasi eksekusi pekerjaan menggunakan LogView 2.0.
Lihat penggunaan sumber daya pekerjaan pada kuota langganan
Kasus penggunaan
Saat penggunaan sumber daya Default Subscription Quota tinggi dan banyak pekerjaan sedang menunggu, skenario ini mencakup mengidentifikasi pekerjaan spesifik yang mengonsumsi sumber daya kuota tersebut.
Prosedur
Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih .
Atur Time Range menjadi 1h, atau tentukan waktu mulai dan akhir kustom.
Atur parameter Select Quota menjadi
Default Subscription Quotadan klik Search.Dalam daftar hasil kueri, periksa CPU Utilization Percentage Snapshot dan Memory Usage Percentage Snapshot untuk pekerjaan yang Latest Status-nya adalah
Running. Periksa apakah pekerjaan yang paling banyak mengonsumsi sumber daya sesuai dengan kebutuhan bisnis dan gunakan informasi pekerjaan lainnya untuk menentukan apakah pekerjaan tersebut berjalan sesuai ekspektasi atau perlu dihentikan.Dalam hasil kueri, klik LogView di kolom Actions untuk sebuah instans guna melihat informasi eksekusi detailnya. Untuk informasi lebih lanjut tentang LogView, lihat Lihat informasi eksekusi pekerjaan menggunakan LogView 2.0.
Lihat detail eksekusi pekerjaan Query Acceleration
Kasus penggunaan
Skenario ini mencakup melihat status eksekusi dan detail pekerjaan Query Acceleration selama hari terakhir.
Prosedur
Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih .
Atur Time Range menjadi 1d dan Job Type menjadi SQLRT(Query Acceleration), lalu klik Search.
Dalam hasil kueri, klik LogView di kolom Actions untuk sebuah instans guna melihat informasi eksekusi detailnya. Untuk informasi lebih lanjut tentang LogView, lihat Lihat informasi eksekusi pekerjaan menggunakan LogView 2.0.
Untuk pekerjaan yang menggunakan fitur Query Acceleration, beberapa pernyataan SQL dapat dieksekusi dalam sesi yang sama. Satu sesi sesuai dengan satu Instance ID. Anda dapat menggunakan LogView dari Instance ID tersebut untuk melihat status eksekusi semua pernyataan SQL dalam sesi tersebut. Oleh karena itu, perhatikan hal berikut saat melihat pekerjaan Query Acceleration di halaman Jobs:
Jika sesi belum keluar, artinya beberapa pernyataan SQL telah selesai dan beberapa masih berjalan, Latest Status pekerjaan adalah
Running.Jika sesi kedaluwarsa atau ditutup, Latest Status pekerjaan adalah
Cancelled.
Konsumsi sumber daya pekerjaan dan alokasi kuota komputasi
Kasus penggunaan
Jika pekerjaan berjalan dalam periode waktu lama dan penyebabnya tidak dapat ditemukan di LogView, atau jika pekerjaan berjalan lebih lambat dari yang diharapkan, Anda perlu menentukan apakah masalah tersebut disebabkan oleh sumber daya yang tidak mencukupi.
Prosedur
Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.
Di panel navigasi sebelah kiri, pilih .
Pilih Time Range dan filter berdasarkan Select Quota. Lalu, klik Search.
Temukan Instance ID target dan klik Insights di kolom Actions untuk membuka halaman Job Insights.
Di tab Resource Consumption, lihat konsumsi sumber daya pekerjaan sepanjang siklus hidupnya.
Grafik konsumsi sumber daya menampilkan kurva CUs yang digunakan dan CUs yang menunggu seiring waktu pada tingkat pekerjaan, serta tren CUs yang digunakan dan CUs yang menunggu seiring waktu pada tingkat kuota. Jika pekerjaan menggunakan jumlah CUs kecil tetapi kuota tempat pekerjaan tersebut berada menggunakan jumlah CUs besar atau bahkan terus mencapai batas atas, sumber daya kuota tidak mencukupi. Dalam kasus ini, pekerjaan lain bersaing untuk sumber daya komputasi dengan pekerjaan saat ini.
Klik titik waktu pada sumbu horizontal grafik konsumsi sumber daya untuk melihat alokasi sumber daya kuota komputasi pada titik waktu tersebut, termasuk jumlah pekerjaan dan distribusi prioritasnya. Klik blok warna yang sesuai dengan prioritas untuk membuka daftar pekerjaan dan melihat informasi detail pekerjaan tersebut. Hal ini membantu Anda mengidentifikasi pekerjaan yang bersaing untuk sumber daya komputasi dengan pekerjaan saat ini. Anda dapat mengoptimalkan eksekusi tugas berdasarkan kebutuhan bisnis dengan menyesuaikan prioritas pekerjaan atau mengelola sumber daya komputasi. Untuk informasi lebih lanjut, lihat prioritas pekerjaan atau Sumber daya komputasi - Manajemen kuota.
Langkah selanjutnya
Jika pekerjaan secara konsisten mengonsumsi persentase sumber daya tinggi sementara pekerjaan lain sedang dalam antrian, pertimbangkan tindakan berikut:
Jika pekerjaan tersebut tidak sesuai dengan kebutuhan bisnis Anda, hentikan pekerjaan tersebut.
Jika pekerjaan tersebut sesuai dengan kebutuhan bisnis Anda, konfigurasi sumber daya untuk kuota mungkin kurang optimal. Optimalkan konfigurasi sumber daya Anda. Untuk informasi lebih lanjut, lihat Optimasi konfigurasi sumber daya komputasi.
Dokumen terkait
Untuk perintah melihat informasi dan status pekerjaan, serta menghentikan pekerjaan, lihat operasi instans.