Pengumpulan frekuensi akses untuk tabel atau partisi JindoTable membantu Anda membedakan antara data dingin dan panas, mengurangi biaya penyimpanan, serta meningkatkan efisiensi cache.
Prasyarat
Anda memerlukan kluster Alibaba Cloud E-MapReduce. Untuk informasi selengkapnya, lihat Create a cluster.
Latar Belakang
JindoTable mendukung pengumpulan catatan akses untuk tabel Hive. Data yang dikumpulkan disimpan dalam namespace layanan SmartData.
SmartData 3.2.x dan versi yang lebih baru mendukung pengumpulan frekuensi akses untuk engine Spark, Hive, dan Presto. Fitur ini diaktifkan secara default untuk Spark dan Presto. Untuk menonaktifkannya, lihat Disable access frequency collection. Fitur ini dinonaktifkan secara default untuk Hive. Untuk mengaktifkannya, lihat Enable access frequency collection for Hive.
Kueri data
Anda dapat menggunakan perintah JindoTable untuk mengkueri frekuensi akses.
-
Sintaks
jindo table -accessStat <-d [days]> <-n [topNums]>Nilai untuk
daysdantopNumsharus berupa bilangan bulat positif. Jika Anda mengaturdayske 1, perintah tersebut akan mengkueri semua catatan akses dari pukul 00:00 (waktu lokal) pada hari ini hingga waktu saat ini. -
Fungsi
Mengkueri N tabel atau partisi yang paling sering diakses dalam rentang waktu tertentu.
-
Contoh: Kueri 20 tabel atau partisi yang paling sering diakses dalam tujuh hari terakhir.
jindo table -accessStat -d 7 -n 20
Untuk informasi selengkapnya tentang JindoTable, lihat JindoTable User Guide.
Aktifkan pengumpulan frekuensi akses untuk Hive
-
Masuk ke Konsol Alibaba Cloud E-MapReduce.
-
Di bilah navigasi atas, pilih wilayah Anda dan kelompok sumber daya.
-
Klik tab Clusters.
-
Di halaman Clusters, temukan kluster Anda dan klik Details di kolom Actions.
-
Ubah konfigurasi layanan Hive.
-
Di panel navigasi kiri, pilih .
-
Di halaman layanan Hive, klik tab Configure.
-
Cari parameter hive.exec.post.hooks dan tambahkan com.aliyun.emr.table.hive.HivePostHook ke nilainya.
-
-
Simpan konfigurasi.
-
Di pojok kanan atas, klik Save.
-
Di kotak dialog Confirm, masukkan Execution Reason dan aktifkan auto-update configuration.
-
Klik OK.
-
-
Restart layanan.
-
Di halaman layanan Hive, pilih di pojok kanan atas.
-
Di kotak dialog Execute Cluster Operation, masukkan Execution Reason.
-
Klik OK.
-
Di kotak dialog Confirm, klik OK.
-
Nonaktifkan pengumpulan frekuensi akses
-
Masuk ke Konsol Alibaba Cloud E-MapReduce.
-
Di bilah navigasi atas, pilih wilayah Anda dan kelompok sumber daya.
-
Klik tab Clusters.
-
Di halaman Clusters, temukan kluster Anda dan klik Details di kolom Actions.
-
Ubah nilai parameter.
-
Layanan Hive:
-
Di panel navigasi kiri, pilih .
-
Di halaman layanan Hive, klik tab Configure.
-
Cari parameter hive.exec.post.hooks dan hapus com.aliyun.emr.table.hive.HivePostHook dari nilainya. Untuk menemukan parameter ini, masukkan
hive.exec.post.hooksdi kotak Configuration Search. Parameter ini berada di bagian hive-site.
-
-
Layanan Spark:
-
Di panel navigasi kiri, pilih .
-
Di halaman layanan Spark, klik tab Configure.
-
Cari parameter spark.sql.queryExecutionListeners dan hapus com.aliyun.emr.table.spark.SparkSQLQueryListener dari nilainya. Untuk menemukan parameter ini, masukkan
spark.sql.queryExecutionListenersdi kotak Configuration Search. Parameter ini berada di bagian spark-defaults, dan nilai saat ini adalahcom.aliyun.emr.table.spark.SparkSQLQueryListener.
-
-
Layanan Presto:
-
Di panel navigasi kiri, pilih .
-
Di halaman layanan Presto, klik tab Configure.
-
Cari parameter event-listener.name dan kosongkan nilainya.
-
-
-
Simpan konfigurasi.
-
Di pojok kanan atas, klik Save.
-
Di kotak dialog Confirm, masukkan Execution Reason dan aktifkan auto-update configuration.
-
Klik OK.
-
-
Restart layanan-layanan tersebut.
-
Layanan Hive:
-
Di halaman layanan Hive, pilih di pojok kanan atas.
-
Di kotak dialog Execute Cluster Operation, masukkan Execution Reason.
-
Klik OK.
-
Di kotak dialog Confirm, klik OK.
-
-
Layanan Spark:
-
Di halaman layanan Spark, pilih di pojok kanan atas.
-
Di kotak dialog Execute Cluster Operation, masukkan Execution Reason.
-
Klik OK.
-
Di kotak dialog Confirm, klik OK.
-
-
Layanan Presto:
-
Di halaman layanan Presto, pilih di pojok kanan atas.
-
Di kotak dialog Execute Cluster Operation, masukkan Execution Reason.
-
Klik OK.
-
Di kotak dialog Confirm, klik OK.
-
-