All Products
Search

This Product

    :Lihat Pekerjaan di Konsol

    Document Center

    :Lihat Pekerjaan di Konsol

    Last Updated:Jul 18, 2026

    Lihat status, log, dan riwayat pekerjaan Compute Engine melalui Spark web UI, shell HDFS, atau History Server.

    Prasyarat

    • Layanan Compute Engine untuk instans Lindorm Anda harus diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan layanan.

    • Alamat IP klien Anda harus berada dalam daftar putih untuk instans Lindorm Anda. Untuk informasi selengkapnya, lihat Konfigurasikan daftar putih.

    Lihat informasi pekerjaan Spark

    Akses Spark web UI

    Catatan

    Untuk mengakses Spark web UI, tempel alamatnya ke bilah alamat browser Anda. Antarmuka akan membuka halaman Jobs secara default. Header menampilkan informasi dasar aplikasi, seperti User, Total Uptime, dan Scheduling Mode (misalnya, FIFO). Di bawah header terdapat bagian Event Timeline yang dapat diperluas.

    Tabel 1. Tab Spark web UI

    Tab

    Deskripsi

    Jobs

    Menampilkan informasi detail tentang semua pekerjaan.

    Stages

    Menampilkan informasi status untuk semua stage dari pekerjaan Spark.

    Storage

    Menampilkan informasi penyimpanan untuk resilient distributed datasets (RDDs) dan DataFrames (DFs) yang dipertahankan.

    Environment

    Menampilkan konfigurasi lingkungan untuk pekerjaan Spark, yang dikompilasi saat startup dari lingkungan runtime, file konfigurasi, dan parameter yang ditentukan pengguna.

    Executors

    Menampilkan status executor untuk pekerjaan Spark.

    SQL

    Menampilkan detail kueri SQL yang dieksekusi oleh Lindorm Distributed Processing System (LDPS).

    Kyuubi Query Engine

    Menampilkan informasi tentang sesi Java Database Connectivity (JDBC).

    Lihat status pekerjaan

    Lihat status pekerjaan menggunakan Spark web UI

    Anda dapat menggunakan Spark web UI untuk melihat status pekerjaan Spark.

    Catatan

    • Anda hanya dapat melihat status pekerjaan di Spark web UI selama pekerjaan tersebut Running.

    • Untuk melihat pekerjaan Spark yang telah selesai, Anda harus mengaktifkan History Server.

    1. Masuk ke Konsol Lindorm.

    2. Pada halaman Instances, klik ID instans target.

    3. Di panel navigasi kiri, pilih Compute Engine > Jobs. Halaman ini mencantumkan pekerjaan Compute Engine yang sedang berjalan.

    4. Klik WebUI Address dari pekerjaan Compute Engine yang diinginkan, lalu masuk ke Spark web UI dengan username dan password Wide Table Engine.

      Catatan

      Untuk mendapatkan nama pengguna dan kata sandi default untuk wide-column engine, buka halaman database connection, klik tab wide-column engine, lalu salin informasi tersebut.

    5. Di bilah navigasi atas, klik Executors untuk melihat detail pekerjaan yang sedang berjalan dan executor-nya.

      Halaman Executors terdiri dari dua bagian. Bagian Summary di bagian atas menampilkan jumlah executor dan metrik agregat, dikategorikan sebagai Active, Dead, dan Total. Tabel Executors di bawahnya mencantumkan detail setiap executor, termasuk ID-nya, Address, Status, penggunaan sumber daya (Storage Memory, Disk Used, Cores), serta metrik tugas (Active Tasks, Failed Tasks, Complete Tasks, Total Tasks, Task Time (GC Time)).

    6. Pada daftar Executors, klik stdout atau stderr di kolom Logs untuk melihat log waktu proses. Anda juga dapat mengklik Thread Dump untuk melihat informasi stack thread atau System Status Dump untuk melihat status sistem executor.

      Catatan

      • Klik stdout untuk melihat log output standar.

      • Klik stderr untuk melihat log error standar.

    Lihat log pekerjaan menggunakan shell HDFS

    Log waktu proses untuk pekerjaan Compute Engine secara otomatis disimpan di LindormDFS yang mendasarinya. Untuk meninjau log dari pekerjaan yang terganggu, aktifkan Lindorm dan gunakan shell HDFS.

    Penting

    • Saat Anda mengirimkan pekerjaan JAR, inisialisasi objek SparkSession di awal fungsi Main. Hal ini memastikan bahwa log dari eksekusi abnormal juga disinkronkan ke LindormDFS.

    • Jika layanan Compute Engine Anda menjalankan banyak pekerjaan, volume log dapat memberikan tekanan signifikan pada LindormDFS. Untuk menguranginya, Anda dapat mengatur parameter spark.dfsLog.executor.enabled=false saat memulai pekerjaan. Parameter ini mencegah log executor disimpan ke LindormDFS. Pengumpulan log driver tidak terpengaruh.

    1. Masuk ke Konsol Lindorm.

    2. Pada halaman Instances, klik ID instans target.

    3. Di panel navigasi kiri, pilih Compute Engine > Jobs, lalu temukan JobId pekerjaan Anda. Contohnya: 562f7c98-2a66-****.

    4. Gunakan shell HDFS untuk melihat log. Untuk informasi cara mengonfigurasi shell HDFS, lihat Panduan koneksi.

    5. Log untuk pekerjaan Compute Engine disimpan di direktori /ldspark/ldspark-logs/${JobId}. Log driver disimpan di subdirektori __driver_logs__, dan log executor disimpan di subdirektori __executor_logs__/${EXECUTOR_ID}. Sebagai contoh, untuk melihat log stderr dari driver, jalankan perintah berikut:

      $HADOOP_HOME/bin/hadoop fs -cat  /ldspark/ldspark-logs/${JobId}/__driver_logs__/stderr | less
      Catatan

      Anda juga dapat memasang direktori LindormDFS ke instans ECS menggunakan klien FUSE. Untuk langkah-langkahnya, lihat Hubungkan dan gunakan LindormDFS melalui HDFS FUSE.

    Lihat riwayat eksekusi pekerjaan

    Penagihan

    Anda dikenai biaya berdasarkan sumber daya yang dikonsumsi oleh Instans Lindorm dan durasi penggunaannya. Setiap Instans Lindorm mengonsumsi 1 CU (1 CU = 1 vCPU dan 4 GB memori), dengan harga CNY 0,203 per jam. Penagihan dimulai segera setelah Anda mengaktifkan History Server, terlepas dari apakah Anda menggunakannya atau tidak.

    Aktifkan History Server

    1. Masuk ke Konsol Lindorm.

    2. Pada halaman Instances, klik ID instans target.

    3. Di panel navigasi kiri, klik compute engine.

    4. Klik tab service management.

    5. Klik tab History Server dan aktifkan sakelar Spark History.

    Lihat riwayat pekerjaan

    1. Masuk ke Konsol Lindorm.

    2. Pada halaman Instances, klik ID instans target.

    3. Di panel navigasi kiri, klik compute engine.

    4. Klik tab service management.

    5. Klik tab History Server.

    6. Klik URL WebUI. Masuk ke halaman History Server dengan username dan password wide-column engine untuk melihat riwayat eksekusi pekerjaan.

      Catatan

      • Untuk mendapatkan username dan password default wide-column engine, buka halaman database connection, klik tab wide-column engine, lalu salin keduanya.

      • Jika halaman History Server menampilkan pesan No completed applications found!, artinya tidak ada pekerjaan historis yang tersedia atau riwayat pekerjaan telah kedaluwarsa dan dihapus.

      Halaman History Server menampilkan informasi pekerjaan historis dalam bentuk tabel. Tabel tersebut mencakup kolom-kolom berikut: Version, App ID, App name, Started, Completed, Duration, Spark user, Last updated, dan Event log. Kolom Event log berisi tombol Download.

      Tugas

      Tindakan

      Filter pekerjaan historis

      Di kotak teks Search di pojok kanan atas halaman History Server, masukkan App name, waktu Started, atau waktu Completed untuk memfilter pekerjaan.

      Lihat pekerjaan yang sedang berjalan

      Di pojok kiri bawah halaman History Server, klik Show incomplete applications.

    7. Klik App ID untuk membuka Spark UI untuk pekerjaan yang sesuai.