Gunakan LogView V2.0 untuk lihat detail eksekusi job - MaxCompute

LogView mencatat dan menampilkan status pekerjaan MaxCompute. Setelah mengirimkan pekerjaan, buka URL LogView untuk memantau progres, memeriksa detail eksekusi, dan mendiagnosis kegagalan. Grafik asiklik terarah (DAG) interaktif, pemutaran eksekusi, serta grafik sumber daya Fuxi Sensor memberikan visibilitas guna mengidentifikasi tugas yang lambat, menemukan instans yang gagal, dan menganalisis bottleneck CPU atau memori.

Akses LogView

Saat Anda mengirimkan pekerjaan MaxCompute, sistem secara otomatis menghasilkan URL yang diawali dengan https://logview.aliyun.com/logview.

MaxCompute client: Salin URL tersebut dan tempelkan ke browser.
DataWorks: Klik langsung URL tersebut untuk membuka halaman LogView.

Halaman LogView terdiri dari tiga bagian:

No.	Bagian
1	Bagian judul dan fungsionalitas
2	Bagian Informasi Dasar
3	Bagian detail pekerjaan

Bagian judul dan fungsionalitas

Bagian ini menampilkan ID pekerjaan dan nama pekerjaan. ID pekerjaan secara unik mengidentifikasi pekerjaan MaxCompute dan dihasilkan saat pekerjaan dikirimkan. Nama pekerjaan hanya muncul jika pekerjaan dikirimkan melalui SDK.

Gunakan ikon di sebelah kanan untuk melakukan aksi berikut:

Ikon	Aksi
	Buka file Logview_detail.txt yang berisi detail pekerjaan. File ini disimpan ke komputer Anda.
	Kembali ke halaman LogView V1.0.
	Simpan detail pekerjaan sebagai file ke komputer Anda.

Bagian Informasi Dasar

Bagian Informasi Dasar menampilkan metadata tentang pekerjaan tersebut.

Parameter	Deskripsi
Layanan MaxCompute	Titik akhir MaxCompute tempat pekerjaan dijalankan. Untuk informasi lebih lanjut, lihat Endpoints.
Proyek	Proyek MaxCompute tempat pekerjaan tersebut berada.
Akun cloud	Akun Alibaba Cloud yang digunakan untuk mengirimkan pekerjaan.
Tipe	Jenis pekerjaan. Nilai yang valid: SQL, SQLRT, LOT, XLib, CUPID, AlgoTask, dan Graph.
Status	Status pekerjaan. Lihat Nilai status pekerjaan.
Waktu Mulai	Waktu pengiriman pekerjaan.
Waktu Selesai	Waktu penyelesaian pekerjaan.
Latensi	Durasi total eksekusi.
Progres	Persentase penyelesaian saat ini.
Prioritas	Prioritas pekerjaan.
Antrian	Posisi pekerjaan dalam antrian grup kuota sumber daya.

Nilai status pekerjaan

Status	Deskripsi
Waiting	Pekerjaan sedang dalam antrian MaxCompute tetapi belum dikirimkan ke Job Scheduler.
Running	Pekerjaan sedang diproses oleh Job Scheduler.
Success	Pekerjaan berhasil diselesaikan.
Failed	Pekerjaan gagal.
Canceled	Pekerjaan dibatalkan.
Terminated	Pekerjaan telah selesai.

Bagian detail pekerjaan

Bagian detail pekerjaan berisi beberapa tab. Tabel berikut memetakan setiap tab ke tujuan diagnostiknya sehingga Anda dapat langsung menuju tampilan yang tepat.

Tab	Kapan digunakan
Job Details	Memahami struktur eksekusi; mengidentifikasi tugas yang lambat atau macet dengan memeriksa DAG, grafik panas, dan status tingkat instans.
Fuxi Sensor	Menganalisis konsumsi sumber daya — misalnya, menyelidiki error out-of-memory (OOM) atau menjelaskan mengapa suatu tugas berjalan lebih lambat dari yang diharapkan.
Result	Melihat output pekerjaan jika berhasil, atau alasan kegagalan jika gagal.
SubStatusHistory	Memahami apa yang dilakukan pekerjaan pada setiap tahap dan mengapa pekerjaan menunggu atau gagal.
SourceXML	Memeriksa konfigurasi pekerjaan mentah: XML, pengaturan, dan nilai flag.
SQL Script	Melihat skrip SQL untuk tugas saat ini.
History	Melihat riwayat eksekusi tugas saat ini.

Tab Job Details

Tab Job Details merupakan tampilan utama Anda untuk memahami struktur eksekusi dan mengidentifikasi lokasi pekerjaan yang lambat atau macet.

Grafik progres

Grafik progres di bagian atas tab menampilkan dependensi antara pekerjaan Fuxi, tugas Fuxi, dan operator dalam bentuk DAG interaktif.

No.	Elemen
1	Navigasi breadcrumb untuk beralih antar pekerjaan Fuxi. Misalnya, `JOB:_SQL_0_0_0_job_0` adalah nama pekerjaan Fuxi.
2	Alat troubleshooting: Progress Chart, Input Heat Chart, Output Heat Chart, TaskTime Heart Chart, dan InstanceTime Heart Chart.
3	Ikon toolbar: refresh status pekerjaan, perbesar atau perkecil, buka dokumentasi MaxCompute Studio, dan beralih ke level induk.
4	Alat zoom.
5	Tugas Fuxi. Lihat Struktur tugas Fuxi.
6	Kontrol pemutaran. Klik ikon play/stop untuk memulai atau menghentikan. Geser bilah progres untuk menggeser waktu. Waktu mulai dan selesai muncul di kedua sisi; waktu pemutaran saat ini muncul di tengah.
7	Thumbnail dari DAG lengkap.

Jika pekerjaan memiliki satu pekerjaan Fuxi, grafik menampilkan dependensi di antara tugas Fuxi.
Jika pekerjaan memiliki beberapa pekerjaan Fuxi, grafik menampilkan dependensi di antara pekerjaan Fuxi tersebut.

Fitur pemutaran tidak tersedia untuk tugas Fuxi dalam status Running. Pekerjaan AlgoTask (seperti pekerjaan Platform for AI (PAI)) hanya berisi satu tugas Fuxi, sehingga grafik progres tidak ditampilkan. Untuk pekerjaan non-SQL, hanya pekerjaan Fuxi dan tugas Fuxi yang ditampilkan.

Struktur tugas Fuxi

Pekerjaan MaxCompute terdiri dari satu atau beberapa pekerjaan Fuxi. Setiap pekerjaan Fuxi terdiri dari satu atau beberapa tugas Fuxi. Setiap tugas Fuxi dijalankan di satu atau beberapa instans Fuxi — jumlah instans bertambah seiring dengan meningkatnya volume data masukan.

Awalan tugas Fuxi menunjukkan jenis tugasnya:

Awalan	Jenis tugas
M	Pemindaian data
R	Reduce
J	JOIN
C	Node virtual (hanya digunakan untuk pemilihan cabang; tidak ada komputasi)

Nama tugas mengkodekan dependensinya. Contohnya:

R4_3_9 — tugas R4 hanya dapat dijalankan setelah tugas M3 dan C9_3 selesai.
M2_4_9_10_16 — tugas M2 hanya dapat dijalankan setelah tugas R4_3_9, C9_3, R10_1_16, dan C16_1 selesai.
R/W pada setiap node tugas menunjukkan jumlah baris yang dibaca dan ditulis.

Klik atau klik kanan node tugas untuk melihat dependensi operator dan graf operator untuk tugas tersebut.

Panel status pekerjaan

Bagian bawah tab Job Details mencantumkan detail tugas Fuxi dan instansnya.

No.	Elemen
1	Tab Fuxi Jobs untuk beralih antar pekerjaan Fuxi.
2	Detail tugas Fuxi. Klik tugas Fuxi untuk menampilkan informasi tentang instansnya. Secara default, instans dari tugas Fuxi pertama pada pekerjaan Fuxi pertama ditampilkan. Untuk pekerjaan AlgoTask dan pekerjaan yang dijalankan di konsol Cupid, kolom Sensor muncul — klik ikon sensor untuk melihat informasi CPU dan memori instans tersebut.
3	Kelompok instans berdasarkan status. Klik jumlah di samping Failed untuk memeriksa instans yang gagal.
4	Instans Fuxi individual beserta detailnya.

ID instans Fuxi mengikuti format M1#0_0:

Angka pertama adalah ID instans auto-increment.
Angka kedua adalah jumlah rerun (0 berarti tugas Fuxi gagal mererun).

Setiap instans menyediakan:

StdOut / StdErr: pesan output dan error, dapat diunduh.
Debug: alat untuk debugging dan troubleshooting.

Jika tugas Fuxi menunjukkan status Interrupted, tugas tersebut mungkin direrun. Dalam kasus ini, kolom Progress hanya mencerminkan progres rerun, sehingga tugas mungkin menunjukkan kurang dari 100% meskipun pekerjaan secara keseluruhan berhasil. Ini merupakan perilaku yang diharapkan.

Batasan jumlah instans Fuxi

Jumlah instans Fuxi dibatasi menjadi 1 jika salah satu kondisi berikut berlaku pada pernyataan SQL:

Klausa LIMIT digunakan.
Fungsi jendela digunakan tanpa klausa PARTITION BY KEY.
Fungsi agregat digunakan tanpa klausa GROUP BY KEY.
Operasi JOIN tidak memiliki kunci gabungan equi-join.
Klausa ORDER BY digunakan.

Tab Fuxi Sensor

Gunakan Fuxi Sensor untuk menganalisis konsumsi sumber daya — misalnya, untuk menyelidiki error out-of-memory (OOM) atau memahami mengapa suatu tugas berjalan lebih lambat dari yang diharapkan.

Fuxi Sensor menampilkan pemanfaatan CPU dan penggunaan memori untuk instans Fuxi individual.

Fuxi Sensor tersedia di wilayah China (Chengdu), China (Shenzhen), China (Shanghai), China (Hangzhou), China (Zhangjiakou), dan China (Beijing).

Pemanfaatan CPU

Grafik cpu_usage memiliki dua garis:

cpu_plan: jumlah CPU yang diminta.
cpu_usage: jumlah CPU yang benar-benar digunakan.

Pada sumbu y, nilai 400 merepresentasikan empat prosesor. Sesuaikan jumlah CPU yang diminta dengan mengubah jumlah prosesor; jumlah CPU yang dapat digunakan tidak dapat dikonfigurasi secara terpisah.

Penggunaan memori

Grafik mem_usage memiliki dua garis:

mem_plan: jumlah memori yang diminta.
mem_usage: jumlah memori yang benar-benar digunakan.

mem_usage merupakan jumlah dari dua komponen:

Komponen	Deskripsi	Dapat Direklaim
RSS (Resident Set Size)	Memori yang dialokasikan setelah page fault kernel, digunakan saat `malloc` dipanggil untuk pemetaan non-file.	Tidak
PageCache	Memori yang digunakan kernel untuk cache file dalam operasi baca dan tulis (misalnya, file log).	Ya

Tab ini menyediakan tiga sub-grafik untuk analisis memori:

Detail memori
Penggunaan RSS
Penggunaan PageCache

Tab Result

Tab Result menampilkan konten yang berbeda tergantung hasil pekerjaan:

Success: hasil pekerjaan ditampilkan.
Failed: alasan kegagalan ditampilkan.

Untuk menonaktifkan tampilan hasil otomatis, jalankan:

setproject odps.forbid.fetch.result.by.bearertoken=true;

Untuk mengubah format tampilan hasil, atur odps.sql.select.output.format:

-- Tampilkan hasil dalam format CSV
set odps.sql.select.output.format=csv;

-- Tampilkan hasil dalam format teks biasa
set odps.sql.select.output.format=HumanReadable;

Tab SubStatusHistory

Tab SubStatusHistory menunjukkan perkembangan status tugas saat ini. Gunakan tab ini untuk memahami apa yang dilakukan pekerjaan pada setiap tahap dan mengapa pekerjaan mungkin menunggu atau gagal.

Kode status	Deskripsi
Waiting for scheduling	Pekerjaan telah dikirimkan dan sedang menunggu framework MaxCompute menjadwalkannya. Waktu tunggu biasanya singkat.
Waiting for cluster resource	Framework MaxCompute mendeteksi sumber daya tidak mencukupi di kluster komputasi Fuxi.
Waiting for concurrent task slot	Pembatasan kecepatan tingkat proyek dipicu. Proyek memiliki batas jumlah tugas SQL yang dapat dijalankan secara bersamaan.
Waiting for data replication	Pekerjaan sedang menunggu replikasi data selesai.
Waiting for execution slot	Pembatasan kecepatan tingkat sistem dipicu.
Waiting for cleaning up of previous task attempt	Pekerjaan sedang menunggu pembersihan upaya tugas sebelumnya.
Waiting for execution	Pekerjaan sedang menunggu didistribusikan dari antrian proses induk ke proses anak. Waktu tunggu biasanya singkat.
Preparing for execution	Pekerjaan sedang didistribusikan ke proses anak. Jika proses anak abnormal, fase ini mungkin memakan waktu lebih lama.
Task is executing	Pekerjaan sedang berjalan di framework MaxCompute.
SQLTask is initializing	Tugas SQL sedang diinisialisasi.
SQLTask is compiling query	Tugas SQL sedang dikompilasi.
SQLTask is optimizing query	Tugas SQL sedang mengoptimalkan rencana kueri. Untuk rencana eksekusi kompleks, fase ini mungkin memakan waktu lebih lama. Jika optimasi memakan waktu sangat lama, error mungkin terjadi.
SQLTask is splitting data sources	Tugas SQL sedang membagi sumber data untuk optimasi.
SQLTask is generating execution plan	Tugas SQL sedang menghasilkan rencana eksekusi. Durasi yang lama di sini mungkin menunjukkan bahwa data sedang dibaca dari jumlah partisi atau file kecil yang berlebihan.
SQLTask is submitting execution plan	Tugas SQL sedang mengirimkan rencana eksekusi.
Job has been submitted	Pekerjaan telah dikirimkan ke kluster komputasi.
Offline Job Waiting for running	Pekerjaan dikirimkan ke kluster Fuxi ketika sumber daya tampak tersedia, tetapi sumber daya tidak tersedia setelah pengiriman. Pekerjaan sedang menunggu sumber daya. Status ini hanya muncul sekali.
Offline Job is running	Pekerjaan Fuxi yang sedang berjalan mengalami kekurangan sumber daya — misalnya, karena pekerjaan prioritas lebih tinggi mengambil alihnya. Beberapa instans Fuxi berada dalam status `ready` dan menunggu untuk dijalankan.
Offline Job is failed	Pekerjaan Fuxi gagal.
Offline Job is succeed	Pekerjaan Fuxi berhasil diselesaikan.
SQLTask is updating meta information	Tugas SQL sedang memperbarui metadata dan menghasilkan partisi dinamis. Proses ini bisa memakan waktu lama.
SQLTask is finishing	Tugas SQL sedang dalam proses penyelesaian.
Online Job is cancelled by fuxi	Pekerjaan dalam `service mode` dibatalkan.
Task rerun	Pekerjaan sedang direrun. Pekerjaan dalam `service mode` mungkin gagal dan beralih ke mode offline, atau data mungkin direplikasi lintas kluster.
Online Job Waiting for running	Pekerjaan dalam `service mode` sedang menunggu untuk dijalankan.
Online Job is running	Pekerjaan dalam `service mode` sedang berjalan.
Online Job is failed	Pekerjaan dalam `service mode` gagal.
Online Job is succeed	Pekerjaan dalam `service mode` berhasil diselesaikan.
Online Job is cancelled by fuxi	Pekerjaan dalam `service mode` dibatalkan.
Task key-path executing finished	Jalur eksekusi utama pekerjaan telah selesai, tetapi data seperti DetailStatus belum dihasilkan.
Task key-path is finished	Jalur eksekusi utama pekerjaan telah selesai.
Instance key-path is finished	Jalur eksekusi utama instans telah selesai.
Task execution is finished	Pekerjaan telah selesai dan DetailStatus telah dihasilkan.
Instance execution is finished	Pekerjaan telah selesai.
Execution failed	Pekerjaan gagal.

Tab SourceXML

Tab SourceXML memiliki tiga sub-tab:

Sub-tab	Konten
XML	Level pekerjaan dan informasi tugas dalam format XML.
Settings	Pengaturan konfigurasi tugas saat ini.
Command	Pengaturan flag tugas saat ini.

Tab SQL Script

Tab SQL Script menampilkan skrip SQL untuk tugas saat ini.

Tab History

Tab History menampilkan riwayat eksekusi tugas saat ini.