E-MapReduce:Ekstensi Hive: Catat alur data dan riwayat akses

Prasyarat

Buat kluster DataLake atau kluster kustom dan pilih layanan Hive. Untuk informasi selengkapnya, lihat Buat kluster.

Batasan

• EMR-HOOK tidak mendukung pengumpulan informasi SQL dari pekerjaan di lingkungan gateway yang dideploy secara kustom dengan EMR-CLI.

• Pada versi EMR sebelum 5.16.0 dan 3.50.0, pengaturan parameter hive.exec.post.hooks (untuk Hive) dan spark.sql.queryExecutionListeners (untuk Spark) tidak disinkronkan ke node gateway. Mulai versi EMR 5.16.0 ke atas dan 3.50.0 ke atas, pengaturan tersebut disinkronkan ke node gateway. Versi-versi tersebut juga memperkenalkan parameter hive_aux_jars_path_gateway_only, yang memungkinkan Anda menggunakan file JAR ekstensi kustom secara independen pada node gateway.

Catatan penggunaan

• EMR-HOOK diaktifkan secara default pada versi EMR sebelum 5.14.0 dan 3.48.0.

  Untuk kluster kustom EMR 3.44 yang tidak mengaktifkan EMR-HOOK secara default, Anda dapat mengaktifkannya secara manual. Untuk informasi selengkapnya, lihat bagian FAQ.

• EMR-HOOK dinonaktifkan secara default pada versi EMR 5.14.0 dan yang lebih baru serta 3.48.0 dan yang lebih baru. Anda harus mengaktifkannya secara manual.

Prosedur

1. Buka halaman layanan Kluster.

   1. Masuk ke Konsol E-MapReduce.

   2. Di bilah navigasi atas, pilih Wilayah dan kelompok sumber daya.

   3. Di halaman EMR on ECS, temukan kluster Anda dan klik Services di kolom Actions.

2. Konfigurasikan EMR-HOOK.

   1. Di halaman Services, pada bagian layanan Hive, klik Configure.

   2. Di halaman Configure, tambahkan atau ubah parameter berikut.

      Tab	Parameter	Deskripsi
      hive-site.xml	hive.exec.post.hooks	Menentukan hook yang mendengarkan pernyataan SQL dari layanan Hive. Hook ini mengumpulkan informasi untuk alur data dan frekuensi akses. Untuk mengaktifkan EMR-HOOK, atur parameter ini ke com.aliyun.emr.meta.hive.hook.LineageLoggerHook. Untuk menonaktifkan EMR-HOOK, biarkan parameter ini kosong.
      	dlf.emrhook.webtracking	Menentukan apakah pelaporan frekuensi akses diaktifkan. Nilai yang valid: true: Diaktifkan. false: Dinonaktifkan.
      hivemetastore-site.xml	hive.metastore.event.listeners	Menentukan listener untuk event yang terkait dengan perubahan metadata Hive. Listener ini mengumpulkan informasi untuk alur data. Untuk mengaktifkan EMR-HOOK, atur parameter ini ke com.aliyun.emr.meta.hive.listener.MetaStoreListener. Untuk menonaktifkan EMR-HOOK, biarkan parameter ini kosong.
      	hive.metastore.pre.event.listeners	Menentukan listener untuk event yang terjadi sebelum perubahan metadata Hive. Listener ini mengumpulkan informasi untuk alur data. Untuk mengaktifkan EMR-HOOK, atur parameter ini ke com.aliyun.emr.meta.hive.listener.MetaStorePreAuditListener. Untuk menonaktifkan EMR-HOOK, biarkan parameter ini kosong.

      Catatan

      Jika Anda menonaktifkan EMR-HOOK, halaman Data Overview untuk tabel di Konsol Data Lake Formation (DLF) tidak akan lagi menampilkan data untuk Access Count (Today), Access Count (Last 7 Days), dan Access Count (Last 30 Days).

   3. Simpan konfigurasi.

      1. Di halaman Configure, klik Save.

      2. Pada kotak dialog yang muncul, masukkan Execution Reason lalu klik Save.

3. Mulai ulang Hive.

   1. Di halaman Configure, pilih More > Restart.

   2. Pada kotak dialog yang muncul, masukkan Execution Reason lalu klik OK.

   3. Pada kotak dialog Confirm, klik OK.

4. Lihat ikhtisar data dan alur data.

   • Lihat Data Overview di Data Lake Formation (DLF). Untuk informasi selengkapnya, lihat Ikhtisar data tabel.

   • Lihat alur data di DataWorks. Untuk informasi selengkapnya, lihat Analisis alur data.

FAQ

Topik terkait

Untuk mempelajari cara mengonfigurasi EMR-HOOK untuk layanan Spark, lihat SparkSQL: Gunakan ekstensi untuk mencatat alur data dan riwayat akses.