All Products
Search

This Product

    E-MapReduce:Koleksi Akses Dingin untuk Tabel atau Partisi JindoTable

    Document Center

    E-MapReduce:Koleksi Akses Dingin untuk Tabel atau Partisi JindoTable

    Last Updated:Aug 05, 2026

    Fitur koleksi akses dingin untuk tabel atau partisi JindoTable mencatat waktu akses terakhir setiap tabel atau partisi, membantu Anda mengidentifikasi data yang jarang diakses, mengoptimalkan strategi penyimpanan data, dan mengurangi biaya. Sebagai contoh, dalam analitik data, Anda dapat memindahkan data partisi yang jarang digunakan ke media penyimpanan berbiaya lebih rendah untuk menghemat biaya.

    Prasyarat

    Buat kluster EMR versi 3.35.0 atau yang lebih baru, atau versi 4.9.0 atau yang lebih baru. Untuk informasi selengkapnya, lihat Create a cluster.

    Informasi latar belakang

    SmartData 3.5.x dan versi yang lebih baru mendukung koleksi akses dingin untuk komponen Hive, Spark, dan Presto. Fitur ini dinonaktifkan secara default. Untuk mengaktifkannya, lihat Enable cold access collection for Spark, Enable cold access collection for Hive, dan Enable cold access collection for Presto.
    Catatan Karena koleksi akses dingin menggunakan hook atau listener yang sama dengan koleksi akses panas, mengaktifkan koleksi akses dingin juga akan mengaktifkan koleksi akses panas. Untuk detail tentang koleksi akses panas untuk tabel atau partisi, lihat Hot access collection for JindoTable tables or partitions.

    Batasan

    • Metadata data lake DLF tidak didukung.
    • Alamat IP layanan Hive CLI, HiveServer2, Spark SQL CLI, Spark Thriftserver, dan Presto harus memiliki izin untuk mengakses penyimpanan metadata dasar (MySQL atau RDS).
    • Koleksi akses dingin hanya didukung untuk komponen Hive, Spark, dan Presto.

    Kueri data

    JindoTable menyediakan metode command line untuk mengkueri informasi akses dingin.
    • Sintaksis
      jindo table -leastUseStat -n <num> [-i/-ignoreNever]

      num adalah jumlah entri yang ditampilkan dan harus berupa bilangan bulat positif. -i/-ignoreNever bersifat opsional. Jika ditentukan, tabel atau partisi yang belum pernah diakses akan dikecualikan dari hasil.

    • Fungsi

      Menampilkan tabel atau partisi yang paling lama tidak diakses.

    • Contoh: Kueri 20 tabel atau partisi yang paling jarang diakses.
      jindo table -leastUseStat -n 20
      Output mencakup tiga kolom, seperti pada contoh berikut.
      
tdb.t1      pid=20/qid=ten      2021-03-26  13:53:52
tdb.t2                          2021-03-26  13:53:58
      • Kolom pertama menunjukkan nama tabel dalam format database_name.table_name.
      • Kolom kedua menunjukkan nama partisi dalam format partition_key_column1=value1/partition_key_column2=value2/.... Kolom ini kosong untuk tabel non-partisi.
      • Kolom ketiga menunjukkan waktu akses terbaru dalam format yyyy-MM-dd HH:mm:ss.
      Catatan Untuk tabel partisi, hanya partisi yang ditampilkan. Tabel itu sendiri tidak dicantumkan secara terpisah.

    Untuk informasi selengkapnya tentang penggunaan JindoTable, lihat JindoTable usage instructions.

    Aktifkan koleksi akses dingin untuk Spark

    1. Buka halaman Spark.
      1. Masuk ke Alibaba Cloud E-MapReduce console.
      2. Di bilah menu atas, pilih Wilayah dan kelompok sumber daya sesuai kebutuhan.
      3. Klik tab Clusters.
      4. Di halaman Clusters, klik Details pada baris kluster target.
      5. Di panel navigasi kiri, pilih Services > Spark.
    2. Di halaman layanan Spark, klik tab Configure.
    3. Cari parameter spark.sql.queryExecutionListeners. Pastikan nilainya mencakup com.aliyun.emr.table.spark.SparkSQLQueryListener. Pisahkan beberapa listener dengan koma (,).
    4. Tambahkan konfigurasi kustom.
      1. Di halaman Service Configuration, klik tab spark-defaults.
      2. Klik Custom Configuration di pojok kanan atas.
      3. Di kotak dialog Add Configuration Item, atur Key menjadi spark.sql.query.update.access.time.enabled dan Value menjadi true.
      4. Klik OK.
    5. Simpan konfigurasi.
      1. Klik Save.
      2. Di kotak dialog Confirm, masukkan Execution Reason dan klik OK.
    6. Restart semua komponen.
      1. Di pojok kanan atas, pilih Actions > Restart All Components.
      2. Di kotak dialog Execute Cluster Operation, masukkan Execution Reason dan klik OK.
      3. Di kotak dialog Confirm, klik OK.

    Aktifkan koleksi akses dingin untuk Hive

    1. Buka halaman Hive.
      1. Masuk ke Alibaba Cloud E-MapReduce console.
      2. Di bilah menu atas, pilih Wilayah dan kelompok sumber daya sesuai kebutuhan.
      3. Klik tab Clusters.
      4. Di halaman Clusters, klik Details pada baris kluster target.
      5. Di panel navigasi kiri, pilih Services > Hive.
    2. Di halaman layanan Hive, klik tab Configure.
    3. Cari parameter hive.exec.post.hooks. Pastikan nilainya mencakup com.aliyun.emr.table.hive.HivePostHook. Pisahkan beberapa hook dengan koma (,).
    4. Tambahkan konfigurasi kustom.
      1. Di halaman Service Configuration, klik tab hive-site.
      2. Klik Custom Configuration di pojok kanan atas.
      3. Di kotak dialog Add Configuration Item, atur Key menjadi hive.hook.update.access.time.enabled dan Value menjadi true.
      4. Klik OK.
    5. Simpan konfigurasi.
      1. Klik Save.
      2. Di kotak dialog Confirm, masukkan Execution Reason dan klik OK.
    6. Restart semua komponen.
      1. Di pojok kanan atas, pilih Actions > Restart All Components.
      2. Di kotak dialog Execute Cluster Operation, masukkan Execution Reason dan klik OK.
      3. Di kotak dialog Confirm, klik OK.

    Aktifkan koleksi akses dingin untuk Presto

    1. Buka halaman Presto.
      1. Masuk ke Alibaba Cloud E-MapReduce console.
      2. Di bilah menu atas, pilih Wilayah dan kelompok sumber daya sesuai kebutuhan.
      3. Klik tab Clusters.
      4. Di halaman Clusters, klik Details pada baris kluster target.
      5. Di panel navigasi kiri, pilih Services > Presto.
    2. Di halaman layanan Presto, klik tab Configure.
    3. Cari parameter event-listener.name. Pastikan nilainya mencakup jindo-presto-post-event-listener.
    4. Tambahkan konfigurasi kustom.
      1. Di halaman Service Configuration, klik tab event-listener.properties.
      2. Klik Custom Configuration di pojok kanan atas.
      3. Di kotak dialog Add Configuration Item, atur Key menjadi listener.update.access.time.enabled dan Value menjadi true.
      4. Klik OK.
    5. Simpan konfigurasi.
      1. Klik Save.
      2. Di kotak dialog Confirm, masukkan Execution Reason dan klik OK.
    6. Restart semua komponen.
      1. Di pojok kanan atas, pilih Actions > Restart All Components.
      2. Di kotak dialog Execute Cluster Operation, masukkan Execution Reason dan klik OK.
      3. Di kotak dialog Confirm, klik OK.