Fitur MaxCompute Job O&M memungkinkan Anda melihat pekerjaan historis dan yang sedang berjalan, memahami detail eksekusi pekerjaan, menganalisis beban sumber daya selama waktu proses, serta melakukan operasi dan pemeliharaan (O&M) pekerjaan.
Fitur
Fitur MaxCompute Job O&M memungkinkan Anda melihat dan mengelola pekerjaan historis maupun yang sedang berjalan.
Bagi developer data, fitur Job O&M membantu melihat detail pekerjaan, mendeteksi serta menangani exception dan masalah secara cepat, serta menghentikan pekerjaan.
Bagi administrator, fitur Job O&M membantu melihat beban sumber daya dari kelompok kuota pada waktu tertentu, sehingga memungkinkan alokasi dan pengelolaan sumber daya sistem secara efisien guna meningkatkan efisiensi dan performa eksekusi pekerjaan.
Pada halaman Jobs di konsol MaxCompute, Anda dapat mengonfigurasi kondisi filter untuk menemukan pekerjaan tertentu, lalu melihat detail pekerjaan dan melakukan analisis. Fitur ini menyediakan operasi berikut:
Operasi
Filter pekerjaan
Anda dapat memfilter pekerjaan berdasarkan parameter yang dijelaskan dalam tabel berikut. Untuk informasi lebih lanjut, lihat Deskripsi parameter.
Sortir pekerjaan
Secara default, pekerjaan diurutkan berdasarkan waktu selesai secara descending, dengan pekerjaan yang sedang berjalan ditampilkan terlebih dahulu. Anda dapat melakukan sortir kolom tunggal dasar atau sortir multi-kolom lanjutan.
Sortir kolom tunggal dasar: Klik tombol sortir di header kolom untuk mengurutkan data secara ascending atau descending.
Sortir multi-kolom lanjutan: Untuk melakukan sortir multi-kolom, klik tombol Advanced Sorting di pojok kanan atas daftar. Kemudian, klik Add Sort untuk menambahkan beberapa kolom, tentukan urutan sortir untuk setiap kolom sebagai Ascending atau Descending, lalu klik OK.
Saat sortir lanjutan aktif, Anda tidak dapat melakukan sortir kolom tunggal dasar. Untuk kembali ke sortir kolom tunggal dasar, klik tombol Advanced Sorting di pojok kanan atas daftar, klik Reset, lalu klik OK.
Lihat detail pekerjaan
Pada daftar pekerjaan, klik LogView di kolom Actions suatu pekerjaan untuk membuka halaman LogView. Pada halaman ini, Anda dapat melihat status berjalan, detail eksekusi, dan hasil pekerjaan tersebut.
Hentikan pekerjaan
Anda dapat melakukan operasi Terminate atau Batch Terminate pada pekerjaan yang memiliki Latest Status berupa
Running.Dapatkan wawasan pekerjaan
Pada daftar pekerjaan, klik Insights di kolom Actions suatu pekerjaan. Hal ini memungkinkan Anda melihat ikhtisar pekerjaan, konsumsi sumber dayanya, serta alokasi sumber daya kuota komputasi pada waktu tertentu. Anda juga dapat memicu job smart diagnosis.
Saat ini, smart diagnosis hanya didukung untuk pekerjaan SQL.
Untuk pekerjaan yang berjalan kurang dari 2 menit atau bukan pekerjaan SQL, MapReduce, Spark, atau Mars, data konsumsi sumber daya tingkat pekerjaan tidak tersedia.
Grafik statistik pekerjaan
Grafik kolom bertumpuk yang menampilkan jumlah pekerjaan dihasilkan berdasarkan hasil filter dan dikelompokkan berdasarkan waktu dan status. Grafik ini membantu memvisualisasikan status keseluruhan pekerjaan yang sedang berjalan.
Jika Anda memilih Time Range yang berbeda, durasi yang diwakili oleh setiap kolom dalam grafik akan berubah:
Jika Time Range berada dalam rentang 24 jam: Interval waktu minimum untuk setiap kolom adalah 2 menit. Jumlah kolom disesuaikan secara otomatis, dengan maksimum 24 kolom.
Jika Time Range lebih dari 24 jam tetapi tidak lebih dari 48 jam: Interval waktu untuk setiap kolom tetap 2 jam. Jumlah kolom disesuaikan secara otomatis, dengan maksimum 24 kolom.
Jika Time Range lebih dari 48 jam tetapi tidak lebih dari 7 hari: Interval waktu untuk setiap kolom adalah 6 jam. Jumlah kolom disesuaikan secara otomatis, dengan maksimum 29 kolom.
Status pekerjaan yang termasuk dalam statistik adalah:
Running: Status snapshot-nya adalah Running.
Finished: Pekerjaan telah berhasil, gagal, atau dihentikan.
Data snapshot pekerjaan dikumpulkan setiap tiga menit. Oleh karena itu, data snapshot mungkin tidak tersedia untuk beberapa pekerjaan. Status snapshot untuk pekerjaan yang sedang berjalan juga bisa kosong.
Anda dapat menyeret mouse di atas grafik untuk memilih dan memperpendek rentang waktu.
Daftar pekerjaan
Daftar pekerjaan menampilkan pekerjaan yang sesuai dengan kondisi filter yang Anda tentukan dan menyediakan informasi dasar tentang pekerjaan tersebut. MaxCompute menyediakan Regular Job List dan Snapshot List untuk menyesuaikan berbagai skenario.
Regular Job List: Lihat informasi semua pekerjaan dalam rentang waktu tertentu.
Snapshot List: Lihat informasi snapshot pekerjaan yang sedang berjalan pada waktu tertentu. Informasi ini mencakup status snapshot, penggunaan CPU dan memori, volume permintaan, serta persentase penggunaan pada waktu snapshot tersebut.
Untuk deskripsi parameter dalam daftar pekerjaan, lihat Deskripsi parameter.
Cakupan
Informasi pekerjaan berikut saat ini tidak dapat dikumpulkan:
Data snapshot pekerjaan dikumpulkan setiap tiga menit. Oleh karena itu, data snapshot tidak dapat dikumpulkan untuk pekerjaan yang dimulai dalam interval tiga menit sebelum pengumpulan.
Beberapa pekerjaan MaxCompute yang diinisiasi melalui PAI, terutama yang diinisiasi oleh Pengguna RAM, tidak dapat dikumpulkan.
Pekerjaan dalam proyek Edisi Developer (akan dihentikan) tidak dapat dikumpulkan.
Data diproses dengan frekuensi tertentu. Saat Anda melihat daftar pekerjaan untuk waktu saat ini, beberapa pekerjaan dengan Latest Status berupa Running mungkin sudah selesai di LogView. Ketidaksesuaian ini lebih mungkin terjadi pada pekerjaan dengan waktu proses sangat singkat. Status di LogView adalah yang paling akurat.
Deskripsi parameter
Parameter filter pekerjaan global
Parameter berikut memengaruhi tampilan grafik statistik pekerjaan maupun daftar pekerjaan.
Parameter | Deskripsi |
Time Range |
|
Choose Project | Memfilter berdasarkan nama proyek MaxCompute. Anda dapat memilih beberapa proyek MaxCompute. Secara default, ini kosong. |
Select Quota |
|
Job Type |
|
Parameter pencarian daftar pekerjaan
Parameter berikut digunakan untuk melakukan pencarian sekunder pada hasil di daftar pekerjaan dan hanya memengaruhi daftar pekerjaan. Gambar berikut menunjukkan lokasi kontrol pencarian:

Parameter | Deskripsi |
Instance ID |
|
Job Owner |
|
ExtNodeId |
|
ExtNodName | Mencari berdasarkan nama pekerjaan sumber yang menjalankan pekerjaan MaxCompute. |
Signature | Mencari berdasarkan signature pekerjaan SQL. Ini hanya tersedia untuk pekerjaan SQL. Gunakan signature ini untuk menemukan semua instans dari eksekusi SQL yang sama. Secara default, ini kosong. |
Parameter filter item daftar pekerjaan
Parameter berikut digunakan untuk melakukan filter sekunder pada hasil di daftar pekerjaan dan hanya memengaruhi daftar pekerjaan. Untuk memfilter, klik ikon filter
di sebelah nama kolom.
Parameter | Deskripsi |
Latest Status |
|
Priority |
|
Intelligent Diagnostics |
|
Deskripsi parameter daftar normal
Nama Kolom | Deskripsi |
Instance ID | Sebuah instans dihasilkan untuk setiap pekerjaan MaxCompute, dan setiap instans memiliki Instance ID yang sesuai. Proyek, kuota komputasi, dan jenis pekerjaan juga ditampilkan.
|
Latest Status | Status terbaru pekerjaan. |
Job Owner | Akun Alibaba Cloud yang menjalankan pekerjaan MaxCompute. Anda dapat menemukan pemilik pekerjaan berdasarkan informasi akun tersebut. Jika suatu pekerjaan mengonsumsi terlalu banyak sumber daya dan memengaruhi pekerjaan lain, Anda dapat menghubungi pemiliknya untuk menghentikan pekerjaan tersebut. Untuk informasi cara menghentikan pekerjaan, lihat Operasi instans. |
Priority | Setiap pekerjaan memiliki prioritas antara 0 hingga 9. Nilai yang lebih kecil menunjukkan prioritas lebih tinggi. Pekerjaan dengan prioritas tinggi mendapatkan sumber daya komputasi sebelum pekerjaan dengan prioritas rendah. Untuk informasi lebih lanjut, lihat Prioritas pekerjaan. |
Submission Time | Waktu ketika instans dikirimkan. |
Start Running Time | The time when the job received the first computing resource. If the running time of a job is too short or a job does not consume computing resources, such as DDL statements, use the submission time of the job instead.. Secara default, ini tidak ditampilkan. Anda dapat menyesuaikan opsi daftar untuk menampilkannya. |
Waiting Duration | The duration from the time a job is submitted to the time it starts to run. If the job has no start time, the duration from the submission time to the snapshot time is displayed. Secara default, ini tidak ditampilkan. Anda dapat menyesuaikan opsi daftar untuk menampilkannya. |
Execution Duration | The duration from the start time to the end time of a job.. Secara default, ini tidak ditampilkan. Anda dapat menyesuaikan opsi daftar untuk menampilkannya. |
End Time | The end time of a job.. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated.. |
Total Used CPU Resources | Total konsumsi CPU sepanjang eksekusi pekerjaan. Satuannya adalah |
Total Amount of Used Memory Resources | Total konsumsi memori sepanjang eksekusi pekerjaan. Satuannya adalah |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Usage Percentage Snapshot | The latest memory usage percentage collected 1 minute before the job deadline of the time range. It is calculated by using the formula: Memory Size Occupied/(Minimum Reserved CU Memory + Minimum Elastically Reserved CU Memory). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Input Size | Jumlah data masukan yang dihitung oleh pekerjaan. |
Intelligent Diagnostics | Tag yang dihasilkan dari hasil job smart diagnosis. |
ExtPlatformId | Klien yang menginisiasi pekerjaan, seperti DataWorks. Pemohon perlu mengirimkan informasi ini saat menginisiasi pekerjaan. Untuk informasi lebih lanjut tentang konvensi pengiriman informasi, lihat Konvensi identifikasi pekerjaan umum. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. Pemohon perlu mengirimkan informasi ini saat menginisiasi pekerjaan. Untuk informasi lebih lanjut tentang konvensi pengiriman informasi, lihat Konvensi identifikasi pekerjaan umum. |
ExtNodeName | The task Name that corresponds to the job initiator, such as the Name of a DataWorks scheduling node.. Pemohon perlu mengirimkan informasi ini saat menginisiasi pekerjaan. Untuk informasi lebih lanjut tentang konvensi pengiriman informasi, lihat Konvensi identifikasi pekerjaan umum. |
ExtNodeOnDuty | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node.. Pemohon perlu mengirimkan informasi ini saat menginisiasi pekerjaan. Untuk informasi lebih lanjut tentang konvensi pengiriman informasi, lihat Konvensi identifikasi pekerjaan umum. |
Signature | The signature of an SQL job. You can use this signature to search for the instance on which the SQL job runs.. |
Deskripsi parameter daftar snapshot
Nama Kolom | Deskripsi Parameter |
Instance ID | Sebuah instans dihasilkan untuk setiap pekerjaan MaxCompute, dan setiap instans memiliki Instance ID yang sesuai. Proyek, kuota komputasi, dan jenis pekerjaan juga ditampilkan.
|
Snapshot Time | The time when snapshot information is collected for the job.. |
Snapshot Status | The status of a job at the snapshot time.. |
Job Owner | Akun Alibaba Cloud yang menjalankan pekerjaan MaxCompute. Anda dapat menemukan pemilik pekerjaan berdasarkan informasi akun tersebut. Jika suatu pekerjaan mengonsumsi terlalu banyak sumber daya dan memengaruhi pekerjaan lain, Anda dapat menghubungi pemiliknya untuk menghentikan pekerjaan tersebut. Untuk informasi cara menghentikan pekerjaan, lihat Operasi instans. |
Priority | Setiap pekerjaan memiliki prioritas antara 0 hingga 9. Nilai yang lebih kecil menunjukkan prioritas lebih tinggi. Pekerjaan dengan prioritas tinggi mendapatkan sumber daya komputasi sebelum pekerjaan dengan prioritas rendah. Untuk informasi lebih lanjut, lihat Prioritas pekerjaan. |
CPU Cores in Use | Number of CPU cores in use for a job at the snapshot time.. |
Requested CPU Cores | The number of requested CPU cores of a job at the snapshot time.. |
CPU Satisfaction Rate | Number of CPU cores in use/Number of requested CPU cores of a job at the snapshot time.. |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Size Occupied | The size of requested memory space of a job at the snapshot time.. Satuan disesuaikan secara otomatis untuk ditampilkan. |
Requested Memory Size | The size of requested memory space of a job at the snapshot time.. Satuan disesuaikan secara otomatis untuk ditampilkan. |
Memory Satisfaction Rate | Memory size occupied/Requested memory size of a job at the snapshot time.. |
Memory Usage Percentage Snapshot | The memory usage percentage of a job at the observation time, which is calculated by using the following formula: Amount of used memory resources/(Amount of reserved memory resources + Amount of elastically reserved memory resources).. Informasi ini tidak tersedia untuk pekerjaan bayar sesuai penggunaan atau pekerjaan tanpa data snapshot. |
Submission Time | The time when a job was submitted.. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated. |
ExtPlatformId | Klien yang menginisiasi pekerjaan, seperti DataWorks. Pemohon perlu mengirimkan informasi ini saat menginisiasi pekerjaan. Untuk informasi lebih lanjut tentang konvensi pengiriman informasi, lihat Konvensi identifikasi pekerjaan umum. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. Pemohon perlu mengirimkan informasi ini saat menginisiasi pekerjaan. Untuk informasi lebih lanjut tentang konvensi pengiriman informasi, lihat Konvensi identifikasi pekerjaan umum. |
ExtNodeOnDuty | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node.. Pemohon perlu mengirimkan informasi ini saat menginisiasi pekerjaan. Untuk informasi lebih lanjut tentang konvensi pengiriman informasi, lihat Konvensi identifikasi pekerjaan umum. |
Signature | The signature of an SQL job. You can use this signature to search for the instance on which the SQL job runs.. |
Skenario O&M umum
Lihat detail eksekusi pekerjaan tertentu
Skenario
Anda perlu melihat status berjalan pekerjaan yang diinisiasi oleh node penjadwalan DataWorks per jam atau mengaudit pekerjaan MaxCompute tertentu.
Prosedur
Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.
Pada panel navigasi di sebelah kiri, pilih .
Di atas daftar pekerjaan, pilih ExtNodeId atau Instance ID lalu masukkan nilai yang sesuai.
Klik ikon
untuk menerapkan filter.
Lihat detail eksekusi pekerjaan dalam periode tertentu
Skenario O&M
Anda perlu melihat pekerjaan yang berjalan dalam sehari terakhir untuk dua proyek yang menjadi tanggung jawab Anda, yaitu Project_1 dan Project_2, serta menganalisis pekerjaan mana yang gagal untuk menyelesaikannya.
Prosedur
Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.
Pada panel navigasi di sebelah kiri, pilih .
Atur Time Range menjadi 1d atau atur Time Range dari
00:00:00pada hari ini hingga waktu saat ini.Pada daftar drop-down Choose Project, pilih Project_1 dan Project_2.
Lihat penggunaan sumber daya pekerjaan untuk kuota langganan pada waktu tertentu
Skenario O&M
Penggunaan sumber daya Default Subscription Quota tinggi, dan banyak pekerjaan sedang menunggu. Anda perlu mengidentifikasi pekerjaan spesifik yang mengonsumsi sumber daya kuota tersebut.
Prosedur
Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.
Pada panel navigasi di sebelah kiri, pilih .
Atur Time Range menjadi 1h atau sesuaikan waktu mulai dan waktu selesai.
Atur parameter Select Quota menjadi
Default Subscription Quotalalu klik Search.Pada daftar hasil, periksa CPU Utilization Percentage Snapshot dan Memory Usage Percentage Snapshot untuk pekerjaan yang memiliki Latest Status berupa
Running. Anda dapat memeriksa apakah pekerjaan dengan persentase penggunaan tertinggi sesuai dengan kebutuhan bisnis Anda dan menggunakan informasi pekerjaan lainnya untuk menentukan apakah pekerjaan tersebut berjalan sesuai harapan atau perlu dihentikan.
Lihat detail eksekusi pekerjaan query terakselerasi
Skenario O&M
Anda perlu melihat status berjalan dan detail pekerjaan query terakselerasi dari sehari terakhir.
Prosedur
Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.
Pada panel navigasi di sebelah kiri, pilih .
Atur Time Range menjadi 1d dan Job Type menjadi SQLRT (Query Acceleration), lalu klik Search.
Untuk pekerjaan yang menggunakan fitur query terakselerasi, beberapa perintah SQL dapat berjalan dalam satu sesi yang sama. Satu sesi berkorespondensi dengan satu Instance ID. Anda dapat melihat status berjalan semua perintah SQL dalam sesi tersebut menggunakan LogView untuk Instance ID tersebut. Oleh karena itu, saat melihat pekerjaan query terakselerasi pada halaman Jobs, perhatikan hal berikut:
Jika sesi belum keluar (misalnya, beberapa perintah SQL telah selesai tetapi yang lain masih berjalan), Latest Status pekerjaan adalah
Running.Jika sesi kedaluwarsa atau keluar karena antarmuka ditutup, Latest Status pekerjaan adalah
Cancelled.
Lihat konsumsi sumber daya pekerjaan dan alokasi sumber daya kuota komputasi pada waktu tertentu
Skenario O&M
Suatu pekerjaan telah berjalan dalam waktu lama tanpa menyelesaikan, dan penyebabnya sulit diidentifikasi di LogView. Atau, pekerjaan yang telah selesai mungkin memiliki waktu proses lebih lama dari yang diharapkan. Anda perlu menganalisis apakah masalah pasokan sumber daya menjadi penyebabnya.
Prosedur
Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.
Pada panel navigasi di sebelah kiri, pilih .
Pilih Time Range dan filter berdasarkan parameter Select Quota, lalu klik Search.
Klik Insights di kolom Actions Instance ID yang diperlukan untuk membuka halaman Job Insights.
Pada tab Resource Consumption, lihat konsumsi sumber daya pekerjaan sepanjang siklus hidupnya.
Grafik konsumsi sumber daya menunjukkan tren perubahan CU yang digunakan dan CU yang menunggu pada tingkat pekerjaan seiring waktu, bersama dengan tren perubahan CU yang digunakan dan CU yang menunggu pada tingkat kuota. Jika Anda menemukan bahwa penggunaan CU pekerjaan rendah sementara penggunaan CU tingkat kuota tinggi atau terus-menerus mencapai batasnya, ini menunjukkan bahwa sumber daya kuota tidak mencukupi dan pekerjaan lain bersaing untuk sumber daya komputasi dengan pekerjaan saat ini.
Klik titik waktu pada sumbu horizontal grafik konsumsi sumber daya untuk melihat alokasi sumber daya kuota komputasi pada waktu tersebut. Ini mencakup jumlah pekerjaan dan distribusi prioritasnya. Klik blok warna untuk prioritas target untuk membuka daftar pekerjaan dan melihat detail pekerjaan yang sesuai. Hal ini membantu Anda mengidentifikasi pekerjaan spesifik mana yang bersaing untuk sumber daya komputasi dengan pekerjaan saat ini. Berdasarkan kebutuhan bisnis Anda, Anda kemudian dapat mengoptimalkan eksekusi tugas, menyesuaikan prioritas pekerjaan, atau mengelola sumber daya komputasi. Untuk informasi lebih lanjut, lihat Prioritas pekerjaan atau Sumber daya komputasi - Manajemen kuota.
Langkah selanjutnya
Jika persentase penggunaan sumber daya pekerjaan secara konsisten tinggi dan banyak pekerjaan lain sedang menunggu, lakukan tindakan berikut:
Jika pekerjaan tersebut tidak memenuhi kebutuhan bisnis, hentikan pekerjaan tersebut.
Jika pekerjaan tersebut memenuhi kebutuhan bisnis, konfigurasi sumber daya kuota tidak sesuai. Dalam hal ini, Anda perlu mengoptimalkan konfigurasi sumber daya. Untuk informasi lebih lanjut, lihat Optimasi konfigurasi sumber daya komputasi.
Referensi
Untuk melihat informasi pekerjaan, memeriksa status pekerjaan, dan menghentikan pekerjaan menggunakan perintah, lihat Operasi instans.