Gunakan LogView V2.0 untuk lihat detail eksekusi job - MaxCompute - Alibaba Cloud - MaxCompute

Topik ini menjelaskan fitur dan penggunaan LogView V2.0 (selanjutnya disebut LogView). Anda dapat mengakses URL LogView untuk melihat informasi pekerjaan.

Ikhtisar

LogView digunakan untuk mencatat dan menampilkan status pekerjaan MaxCompute. LogView menyediakan fitur-fitur berikut:

Menyediakan directed acyclic graph (DAG) interaktif untuk menampilkan arsitektur logis pemrosesan pekerjaan. Anda juga dapat melihat operator-operator dari suatu pekerjaan.
Memungkinkan Anda memutar ulang proses eksekusi pekerjaan.
Memungkinkan Anda melihat penggunaan memori dan pemanfaatan CPU menggunakan Fuxi Sensor.

Titik masuk

Mengirimkan pekerjaan MaxCompute secara otomatis menghasilkan URL yang diawali dengan https://logview.aliyun.com/logview.

Jika Anda menggunakan client MaxCompute untuk mengirimkan pekerjaan, salin URL tersebut ke bilah alamat browser untuk mengakses LogView.
Jika Anda menggunakan DataWorks untuk mengirimkan pekerjaan, klik langsung URL tersebut untuk membuka halaman LogView.

Halaman LogView terbagi menjadi tiga bagian: bagian judul dan fungsionalitas di atas (1), panel Basic Info di kiri (2), serta bagian detail pekerjaan di kanan (3) yang mencakup tab-tab berikut: Job Details, Result, SourceXML, SQL Script, dan Summary, serta diagram DAG Progress Chart dan daftar Fuxi Jobs.

No.	Bagian
1	Bagian judul dan fungsionalitas. Untuk informasi selengkapnya, lihat Bagian judul dan fungsionalitas.
2	Bagian Basic Info. Untuk informasi selengkapnya, lihat Bagian Basic Info.
3	Bagian detail pekerjaan. Untuk informasi selengkapnya, lihat Bagian detail pekerjaan.

Bagian judul dan fungsionalitas

Bagian ini menampilkan ID pekerjaan dan nama pekerjaan. ID pekerjaan secara unik mengidentifikasi pekerjaan MaxCompute dan dihasilkan saat pekerjaan dikirimkan. Nama pekerjaan hanya ditampilkan jika pekerjaan dikirimkan menggunakan SDK. Anda juga dapat mengklik ikon di sebelah kanan bagian ini untuk melakukan operasi tertentu.

Ikon	Deskripsi
	Buka file Logview_detail.txt yang berisi detail pekerjaan. File tersebut disimpan di komputer Anda.
	Kembali ke halaman LogView V1.0.
	Simpan detail pekerjaan sebagai file ke komputer Anda.

Bagian Basic Info

Bagian ini menampilkan informasi dasar tentang suatu pekerjaan.

Parameter	Deskripsi
MaxCompute Service	Titik akhir MaxCompute tempat pekerjaan dijalankan. Untuk informasi selengkapnya tentang titik akhir, lihat Endpoints.
Project	Nama proyek MaxCompute tempat pekerjaan tersebut berada.
Cloud account	Akun Alibaba Cloud yang digunakan untuk mengirimkan pekerjaan.
Type	Jenis pekerjaan. Nilai yang valid: SQL, SQLRT, LOT, XLib, CUPID, AlgoTask, dan Graph.
Status	Status pekerjaan. Nilai yang valid: Success: Pekerjaan berhasil. Failed: Pekerjaan gagal. Canceled: Pekerjaan dibatalkan. Waiting: Pekerjaan sedang diproses di MaxCompute tetapi belum dikirimkan ke Job Scheduler. Running: Pekerjaan sedang diproses di Job Scheduler. Terminated: Pekerjaan telah selesai.
Start Time	Waktu pekerjaan dikirimkan.
End Time	Waktu pekerjaan selesai.
Latency	Periode selama pekerjaan dijalankan.
Progress	Progres pekerjaan.
Priority	Prioritas pekerjaan.
Queue	Posisi pekerjaan dalam antrian pada grup kuota sumber daya.

Bagian detail pekerjaan

Di bagian detail pekerjaan, Anda dapat mengkueri detail tentang suatu pekerjaan. Bagian ini terdiri dari tab-tab berikut:

Job details

Progress chart

Bagian atas tab Job details menampilkan grafik progres. Grafik ini memvisualisasikan dependensi subtugas dalam tiga lapisan: Fuxi job, Fuxi task, dan operator. Grafik ini juga menyediakan alat troubleshooting.

No.	Deskripsi
1	Navigasi breadcrumb yang digunakan untuk beralih antar Fuxi job. JOB:_SQL_0_0_0_job_0 adalah nama Fuxi job.
2	Alat yang digunakan untuk troubleshooting. Anda dapat menggunakan Progress Chart, Input Heat Chart, Output Heat Chart, TaskTime Heart Chart, dan InstanceTime Heart Chart untuk troubleshooting.
3	Anda dapat mengklik ikon untuk merefresh status pekerjaan dan mengklik ikon untuk memperbesar atau memperkecil grafik progres. Anda juga dapat mengklik ikon untuk membuka dokumentasi MaxCompute Studio dan ikon untuk beralih ke tingkat atas pekerjaan.
4	Alat zoom.
5	Fuxi task. Pekerjaan MaxCompute terdiri dari satu atau beberapa Fuxi job. Setiap Fuxi job terdiri dari satu atau beberapa Fuxi task. Setiap Fuxi task terdiri dari satu atau beberapa Fuxi instance. Jika jumlah data masukan meningkat, MaxCompute akan memulai lebih banyak node untuk setiap task guna memproses data tersebut. Sebuah node setara dengan Fuxi instance. Misalnya, pekerjaan MapReduce sederhana menghasilkan dua Fuxi task: map task (M1) dan reduce task (R2). Jika pernyataan SQL kompleks, beberapa Fuxi task mungkin dihasilkan. Anda dapat melihat nama setiap Fuxi task di halaman eksekusi. Misalnya, M1 menunjukkan map task. Bidang 3 dan 9 dalam R4_3_9 menunjukkan bahwa map task hanya dapat dijalankan setelah M3 dan C9_3 selesai. Demikian pula, M2_4_9_10_16 menunjukkan bahwa task M2 hanya dapat dijalankan setelah R4_3_9, C9_3, R10_1_16, dan C16_1 selesai. R/W menunjukkan jumlah baris yang dibaca dan ditulis oleh task tersebut. Klik atau klik kanan sebuah task untuk melihat dependensi operator dan graf operator dari task tersebut. Anda dapat dengan cepat melihat tabel input dan output.
6	Pemutaran ulang Fuxi task. Anda dapat mengklik ikon untuk memulai atau menghentikan pemutaran. Anda juga dapat menyeret bilah progres. Waktu mulai dan waktu selesai ditampilkan di sisi bilah progres. Waktu pemutaran ditampilkan di tengah.
7	Gambar mini.

Catatan

Fitur pemutaran ulang tidak berlaku untuk Fuxi task yang berstatus Running.
Pekerjaan AlgoTask, seperti pekerjaan Platform for AI (PAI), hanya berisi satu Fuxi task. Oleh karena itu, grafik progres tidak tersedia untuk jenis pekerjaan ini.
Untuk pekerjaan non-SQL, hanya Fuxi job dan Fuxi task yang ditampilkan.
Jika hanya ada satu Fuxi job, grafik progres menunjukkan dependensi di antara Fuxi task. Jika terdapat beberapa Fuxi job, grafik progres menunjukkan dependensi di antara Fuxi job.

Job status

Bagian bawah tab Job details menampilkan informasi eksekusi detail pekerjaan.

No.	Deskripsi
1	Tab Fuxi Jobs. Anda dapat beralih antar Fuxi job di tab ini.
2	Detail tentang Fuxi task dari Fuxi job tersebut. Klik Fuxi task untuk menampilkan informasi tentang Fuxi instance dari task tersebut. Secara default, informasi tentang Fuxi instance dari Fuxi task pertama untuk Fuxi job pertama ditampilkan. Untuk pekerjaan AlgoTask dan CUPID, area ini menyediakan kolom Sensor. Anda dapat mengklik Sensor Fuxi task untuk melihat pemanfaatan CPU dan penggunaan memori untuk Fuxi instance-nya. Fuxi job diklasifikasikan sebagai berikut: M: Pekerjaan yang ID-nya diawali dengan M adalah pekerjaan pemindaian data. R: Pekerjaan yang ID-nya diawali dengan R adalah pekerjaan Reduce. J: Pekerjaan yang ID-nya diawali dengan J adalah pekerjaan JOIN. C: Pekerjaan yang ID-nya diawali dengan C menunjukkan node virtual. Node ini tidak melibatkan perhitungan dan hanya digunakan untuk pemilihan cabang. Catatan Fuxi Sensor tersedia di wilayah China (Chengdu), China (Shenzhen), China (Shanghai), China (Hangzhou), China (Zhangjiakou), dan China (Beijing). Fuxi task mungkin dicoba ulang jika `interrupted`. Dalam kasus ini, kolom Progress hanya menunjukkan progres percobaan ulang. Oleh karena itu, keseluruhan pekerjaan mungkin berhasil diselesaikan meskipun progres Fuxi task ini tidak mencapai `100%`. Ini merupakan perilaku yang diharapkan.
3	LogView mengelompokkan instance berdasarkan statusnya. Anda dapat mengklik nilai di samping Failed untuk mengkueri informasi tentang node yang bermasalah.
4	Fuxi instance. Contoh ID adalah `M1#0_0`. Angka `0` pertama adalah ID auto-increment Fuxi instance. Angka `0` kedua adalah jumlah percobaan ulang task tersebut. Nilai `0` menunjukkan bahwa task tidak dicoba ulang. Nilai n menunjukkan bahwa task dicoba ulang sebanyak n kali. StdOut dan StdErr. Anda dapat melihat pesan output, pesan error, dan informasi yang ingin ditampilkan. Anda juga dapat mengunduh informasi tersebut. Debug. Anda dapat melakukan debug dan troubleshooting error. Batasan jumlah Fuxi instance. Jumlah Fuxi instance dibatasi menjadi 1 ketika pernyataan SQL yang Anda gunakan memenuhi salah satu kondisi berikut: Berisi klausa `limit`. Menggunakan window function tanpa klausa `partition by key`. Menggunakan fungsi agregat tanpa klausa `group by key`. Tidak ada equi-join key dalam pernyataan SQL yang digunakan untuk operasi JOIN. Berisi klausa `order by`.

Fuxi Sensor

Fuxi Sensor menyediakan tampilan sumber daya multidimensi dari Fuxi instance, menunjukkan pemanfaatan CPU aktual dan penggunaan memori. Hal ini menjadikannya alat yang berharga untuk analisis akar penyebab dan analisis performa pekerjaan, seperti dalam skenario berikut:

Menganalisis penggunaan memori aktual saat terjadi error out-of-memory (OOM).
Menampilkan penggunaan sumber daya berikut dari Fuxi instance untuk pekerjaan pembelajaran mesin:
- Pemanfaatan CPU
  
  Grafik cpu_usage memiliki dua garis. Satu garis menunjukkan jumlah CPU yang diminta (cpu_plan), dan garis lainnya menunjukkan jumlah CPU yang digunakan (cpu_usage). Pada sumbu y, angka 400 menunjukkan empat prosesor. Anda hanya dapat menyesuaikan jumlah CPU yang diminta dengan mengubah jumlah prosesor; jumlah CPU yang dapat digunakan tidak dapat disesuaikan.
- Penggunaan memori
  
  Grafik mem_usage memiliki dua garis. Satu garis menunjukkan jumlah sumber daya memori yang diminta (mem_plan), dan garis lainnya menunjukkan jumlah sumber daya memori yang digunakan (mem_usage).
  Penggunaan memori (mem_usage) terdiri dari dua bagian: Resident Set Size (RSS) dan PageCache. RSS adalah memori yang dialokasikan setelah terjadi page fault akibat panggilan Malloc (non-file mapping) dan tidak dapat ditarik kembali saat memori langka. PageCache adalah memori yang digunakan kernel untuk cache file, seperti saat membaca dan menulis file log, dan biasanya dapat ditarik kembali saat memori langka.
  - Detail memori
  - Penggunaan RSS
  - Penggunaan PageCache

Result

Konten pada tab Result bervariasi tergantung status pekerjaan:

Jika pekerjaan berhasil dijalankan, hasil pekerjaan akan ditampilkan.

Anda dapat menggunakan perintah berikut untuk menonaktifkan tampilan hasil pekerjaan.
```
setproject odps.forbid.fetch.result.by.bearertoken=true;
```

Anda dapat mengonfigurasi parameter odps.sql.select.output.format untuk menentukan format tampilan hasil.

-- Untuk menampilkan hasil dalam format CSV, atur parameter ini ke csv.
set odps.sql.select.output.format=csv;
-- Untuk menampilkan hasil dalam format teks, atur parameter ini ke HumanReadable.
set odps.sql.select.output.format=HumanReadable;

Jika pekerjaan gagal dijalankan, penyebab kegagalannya akan ditampilkan.

Source XML

XML

Tingkat pekerjaan dan informasi terkait task ditampilkan dalam format XML pada tab ini.
Settings

Pengaturan task saat ini ditampilkan pada tab ini.
Command

Pengaturan flag task saat ini ditampilkan pada tab ini.

SQL script

Skrip SQL untuk task saat ini ditampilkan pada tab ini.

History

Riwayat task saat ini ditampilkan pada tab ini.

SubStatusHistory

Status task saat ini ditampilkan pada tab ini.

Klik tab SubStatusHistory untuk melihat riwayat sub-status setiap tahap eksekusi task. Tabel berisi kolom-kolom berikut: Code (kode status numerik, seperti 1010, 1020, dan 1030), Description (deskripsi status), StartTime (waktu mulai), Latency (durasi), dan TimeLine (bilah progres timeline).

Pesan untuk kode status	Deskripsi
Waiting for scheduling	Pekerjaan telah dikirimkan dan sedang menunggu penjadwalan oleh framework MaxCompute. Dalam kebanyakan kasus, waktu tunggu ini singkat.
Waiting for cluster resource	Pekerjaan sedang menunggu sumber daya karena framework MaxCompute mengidentifikasi bahwa sumber daya kluster komputasi Fuxi tidak mencukupi.
Waiting for concurrent task slot	Pembatasan kecepatan tingkat proyek dipicu. Anda dapat mengonfigurasi jumlah task SQL yang dapat dikirimkan secara bersamaan untuk suatu proyek.
Waiting for data replication	Pekerjaan sedang menunggu replikasi data.
Waiting for execution slot	Pembatasan kecepatan tingkat sistem dipicu.
Waiting for cleaning up of previous task attempt	Pekerjaan sedang menunggu operasi pembersihan task historis selesai.
Waiting for execution	Pekerjaan sedang menunggu didistribusikan dari antrian proses induk ke proses anak. Dalam kebanyakan kasus, waktu tunggu ini singkat.
Preparing for execution	Pekerjaan akan didistribusikan ke proses anak. Jika proses anak abnormal, waktu persiapan mungkin lama.
Task is executing	Pekerjaan sedang diproses dalam framework MaxCompute.
SQLTask is initializing	Task SQL sedang diinisialisasi.
SQLTask is compiling query	Task SQL sedang dikompilasi.
SQLTask is optimizing query	Task SQL sedang mengoptimalkan kueri. Jika rencana eksekusi kompleks, waktu optimasi agak lama. Jika waktu optimasi terlalu lama, mungkin terjadi error.
SQLTask is splitting data sources	Task SQL sedang memisahkan sumber data untuk optimasi.
SQLTask is generating execution plan	Task SQL sedang menghasilkan rencana eksekusi. Jika proses ini memakan waktu lama, data mungkin dibaca dari jumlah partisi atau file kecil yang berlebihan.
SQLTask is submitting execution plan	Task SQL sedang mengirimkan rencana eksekusi.
Job has been submitted	Pekerjaan telah dikirimkan ke kluster komputasi.
Offline Job Waiting for running	Sebelum pekerjaan dikirimkan ke kluster komputasi Fuxi, framework MaxCompute mengidentifikasi bahwa sumber daya komputasi tersedia untuk pekerjaan tersebut. Namun, setelah pekerjaan dikirimkan, framework MaxCompute mengidentifikasi bahwa tidak ada sumber daya komputasi yang tersedia dalam grup kuota. Akibatnya, pekerjaan menunggu sumber daya komputasi. Kode status ini hanya muncul sekali dan tidak muncul lagi meskipun tidak tersedia sumber daya komputasi untuk pekerjaan tersebut.
Offline Job is running	Fuxi job sedang berjalan. Jika sumber daya menjadi tidak tersedia selama eksekusi, pekerjaan tetap dalam status ini. Misalnya, jika pekerjaan dengan prioritas lebih tinggi mengambil alih sumber daya, Fuxi instance yang terpengaruh tidak dapat berjalan dan statusnya berubah menjadi `ready`.
Offline Job is failed	Fuxi job gagal dijalankan.
Offline Job is succeed	Fuxi job berhasil.
SQLTask is updating meta information	Task SQL sedang memperbarui status informasi metadata dan menghasilkan partisi dinamis. Proses ini mungkin memakan waktu lama.
SQLTask is finishing	Task SQL telah selesai.
Online Job is cancelled by fuxi	Pekerjaan dalam `service mode` dibatalkan.
Task rerun	Pekerjaan sedang dicoba ulang. Hal ini dapat terjadi jika pekerjaan dalam `service mode` gagal dan dicoba ulang dalam mode offline, atau karena replikasi data lintas kluster.
Online Job Waiting for running	Pekerjaan dalam `service mode` sedang menunggu untuk dijalankan.
Online Job is running	Pekerjaan dalam `service mode` sedang berjalan.
Online Job is failed	Pekerjaan dalam `service mode` gagal.
Online Job is succeed	Pekerjaan dalam `service mode` berhasil.
Online Job is cancelled by fuxi	Pekerjaan dalam `service mode` dibatalkan.
Task key-path executing finished	Jalur utama pekerjaan telah selesai, tetapi informasi seperti DetailStatus belum dihasilkan.
Task key-path is finished	Jalur utama pekerjaan telah selesai.
Instance key-path is finished	Jalur utama instance telah selesai.
Task execution is finished	Pekerjaan telah selesai, dan DetailStatus telah dihasilkan.
Instance execution is finished	Pekerjaan telah selesai.
Execution failed	Pekerjaan gagal dijalankan.