All Products
Search

This Product

    E-MapReduce:Kelola log

    Document Center

    E-MapReduce:Kelola log

    Last Updated:Jun 21, 2026

    Komponen open-source dalam E-MapReduce (EMR) menghasilkan banyak log selama operasi. Fitur Manajemen Log mengintegrasikan EMR dengan Simple Log Service (SLS), sehingga Anda dapat melakukan kueri terhadap log komponen tersebut langsung di Konsol EMR.

    Prasyarat

    Batasan

    • Topik ini hanya berlaku untuk kluster dalam skenario berikut: DataLake, DataFlow, Online Analytical Processing (OLAP), DataServing, dan DataLake (Hadoop).

    • Pengiriman log didukung untuk layanan berikut: hdfs, yarn, yarn_application, hive, spark, jindodata, tez, flink, hbase, zookeeper, kafka, presto, kudu, impala, flume, starrocks, clickhouse, kyuubi, rss, dan host.

    Catatan penggunaan

    • Simple Log Service (SLS) membebankan biaya terpisah untuk item seperti penyimpanan log dan traffic terindeks sesuai tarif standar. Untuk informasi selengkapnya, lihat Item yang dikenai biaya.

    • Jika Anda menggunakan RAM user, login ke Konsol RAM dengan Akun Alibaba Cloud Anda dan berikan izin AliyunLogFullAccess kepada RAM user tersebut. Untuk informasi selengkapnya, lihat Kelola izin untuk RAM user.

    Aktifkan pengiriman log

    1. Buka halaman Manajemen Log.

      1. Login ke Konsol E-MapReduce.

      2. Di bilah navigasi atas, pilih wilayah dan kelompok sumber daya sesuai kebutuhan.

      3. Di halaman EMR on ECS, klik Cluster ID dari kluster target.

      4. Klik tab Logs.

    2. Konfigurasikan cakupan pengiriman log.

      1. Di halaman Logs, klik Set Log Shipping Scope di pojok kanan atas.

      2. Di kotak dialog yang muncul, konfigurasikan Project untuk penyimpanan log.

        Anda dapat memilih Project yang sudah ada atau membuat Project baru.

        Penting

        Anda tidak dapat mengubah Project setelah dipilih.

      3. Pilih layanan yang log-nya ingin Anda kirim, lalu klik OK.

    3. Lihat log layanan.

      1. Dari daftar drop-down Please select EMR service, pilih layanan yang log-nya ingin Anda lihat.

      2. Analisis log di halaman log.

        Anda dapat menentukan rentang waktu dan pernyataan kueri untuk melakukan kueri waktu nyata. Misalnya, Anda dapat menganalisis distribusi bidang tertentu dalam suatu periode secara cepat, atau memfilter dan mengagregasi catatan akses berdasarkan kondisi tertentu.

    Nonaktifkan pengiriman log

    Penting

    Menonaktifkan pengiriman log waktu nyata tidak secara otomatis menghapus Project. Untuk menghindari biaya yang tidak perlu setelah menonaktifkan pengiriman log, buka Konsol Simple Log Service dan hapus Project yang telah dikonfigurasi. Untuk informasi selengkapnya, lihat Kelola Project.

    Jika Anda tidak lagi memerlukan penyimpanan data log, ikuti langkah-langkah berikut untuk menonaktifkan pengiriman log.

    1. Di halaman Logs, klik Disable Log Shipping di pojok kanan atas.

    2. Di kotak dialog yang muncul, klik OK.

    Kelola Project SLS

    Di halaman Logs, Anda dapat mengklik Go to Log Service Console di pojok kanan atas untuk membuka Konsol Simple Log Service (SLS). Di Konsol SLS, Anda dapat mengatur periode retensi log dan memodifikasi konfigurasi Logstore.

    Bidang log

    Parameter

    Deskripsi

    __source__

    Alamat IP pribadi node.

    __tag__:__hostname__

    Hostname node.

    __tag__:__path__

    Jalur penyimpanan log.

    __tag__:__user_defined_id__

    Pengenal kustom yang ditentukan SLS untuk kluster.

    __tag__:_aliyun_user_id_

    UID Akun Alibaba Cloud.

    __tag__:_ecs_id_

    ID Instance ECS.

    __tag__:_main_cluster_id_

    ID kluster EMR.

    __tag__:_role_

    Nama node. Contohnya, core-1-1.

    __topic__

    Topik log, digunakan untuk mengkategorikan entri log.

    content

    Konten mentah dari entri log.

    level

    Tingkat log, yang menunjukkan tingkat keparahan entri log, seperti INFO, WARN, ERROR, atau DEBUG.

    message

    Pesan log utama, biasanya diekstraksi setelah penguraian.

    thread

    Thread yang menghasilkan entri log.

    time

    Timestamp saat entri log dihasilkan.

    Aset

    • Project kustom dan Logstore spesifikasi khusus

      Anda dapat menentukan Project kustom. Sistem kemudian akan membuat Logstore spesifikasi khusus bernama emr_<service_name>_log di Project tersebut. Misalnya, jika Anda mengirim log layanan host, Logstore yang sesuai adalah emr_host_log.

      Penting

      • Sebelum menonaktifkan fitur Manajemen Log, jangan menghapus Project dan Logstore SLS yang digunakan untuk log EMR. Jika tidak, log yang ada akan dihapus dan log baru tidak dapat dikirim ke SLS.

      • Jika sebelumnya Anda menggunakan metode penagihan pay-by-ingested-data, sistem akan membuat Logstore spesifikasi khusus yang secara default menggunakan metode ini. Untuk beralih ke metode penagihan pay-by-feature, Anda harus memodifikasi konfigurasi Logstore. Untuk informasi selengkapnya, lihat Modifikasi konfigurasi Logstore.

    • Dasbor spesifikasi khusus

      Tidak tersedia dasbor spesifikasi khusus. Anda dapat membuat dasbor kustom untuk menampilkan hasil kueri. Untuk informasi selengkapnya, lihat Buat dasbor.

    Penagihan

    FAQ

    T: Saya telah mengaktifkan SLS dan memberikan izin yang diperlukan. Mengapa konsol masih menampilkan pesan "Pengumpulan log layanan belum diaktifkan untuk resource ini. Buka halaman Manajemen Log kluster di Konsol EMR untuk mengaktifkannya."?

    J: Tidak ada layanan yang dikonfigurasi untuk pengiriman log di kluster saat ini. Klik Set Log Shipping Scope di pojok kanan atas untuk menyelesaikan konfigurasi.