E-MapReduce:Hubungkan ke layanan Hive Metastore eksternal

Langkah 1: Siapkan layanan Hive Metastore

1. Di halaman EMR on ECS, buat kluster DataLake yang mencakup layanan Hive dan atur Metadata menjadi Built-in MySQL. Untuk informasi selengkapnya, lihat Create a cluster.

2. Gunakan SSH untuk login ke node master kluster. Untuk informasi selengkapnya, lihat Log on to a cluster.

3. Jalankan perintah berikut untuk masuk ke Hive CLI:

   hive

4. Jalankan perintah berikut untuk membuat tabel bernama dw_users di Object Storage Service (OSS) dan memasukkan data ke dalamnya:

   CREATE TABLE `dw_users`(
     `name` string)
   LOCATION
     'oss://<yourBucket>/path/to/file';
   INSERT INTO dw_users select 'Bob';

Langkah 2: Tambahkan koneksi jaringan

1. Buka halaman koneksi jaringan.

   1. Login ke EMR console.

   2. Pada panel navigasi sebelah kiri, pilih EMR Serverless > Spark.

   3. Di halaman Spark, klik nama ruang kerja yang dituju.

   4. Di halaman EMR Serverless Spark, klik Normal Network Connection pada panel navigasi sebelah kiri.

2. Di halaman Normal Network Connection, klik Create Network Connection.

3. Di kotak dialog Create Network Connection, konfigurasikan parameter berikut lalu klik OK.

   Parameter	Deskripsi
   Name	Masukkan nama untuk koneksi baru.
   VPC	Pilih VPC yang sama dengan kluster EMR.
   vSwitch	Pilih vSwitch yang berada dalam VPC yang sama dengan kluster EMR.

   Status Status yang menunjukkan Succeeded menandakan bahwa koneksi jaringan telah berhasil ditambahkan.

Langkah 3: Buka port layanan Hive Metastore

1. Dapatkan blok CIDR dari vSwitch untuk koneksi jaringan.

   Anda dapat login ke VPC console dan buka halaman vSwitch untuk mendapatkan blok CIDR vSwitch tersebut.

2. Tambahkan aturan security group.

   1. Login ke EMR on ECS console.

   2. Di halaman EMR on ECS, klik ID kluster yang dituju.

   3. Di halaman Basic Information, klik tautan di samping Cluster Security Group.

   4. Di halaman Security Group, klik Add Rule. Tentukan Source dan Port, lalu klik OK.

      Parameter	Deskripsi
      Port	Masukkan 9083.
      Source	Masukkan blok CIDR vSwitch yang Anda peroleh pada langkah sebelumnya. Penting Untuk mencegah risiko keamanan akibat serangan eksternal, jangan atur Source menjadi 0.0.0.0/0.

Langkah 4: Hubungkan ke Hive Metastore

1. Di halaman EMR Serverless Spark, klik Catalogs pada panel navigasi sebelah kiri.

2. Di halaman Catalogs, klik Add Catalog.

3. Di kotak dialog yang muncul, klik External Hive Metastore, konfigurasikan informasi berikut, lalu klik OK. Pada tab External Hive Metastore, masukkan hive_metastore pada field Data Catalog Name, dan konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Normal Network Connection	Pilih koneksi jaringan yang telah Anda tambahkan pada Langkah 2.
   Metastore service address	URI layanan Hive Metastore. Formatnya adalah thrift://<IP address of Hive metastore>:9083. <IP address of Hive metastore> adalah IP internal dari node master di kluster EMR on ECS Anda. Anda dapat menemukan alamat IP ini pada halaman Nodes kluster tersebut. Catatan Jika layanan Hive Metastore Anda menggunakan high availability (HA), masukkan URI untuk semua node yang relevan, dipisahkan dengan koma (,). Contohnya: thrift://<IP address of Hive metastore 1>:9083,thrift://<IP address of Hive metastore 2>:9083.
   Kerberos keytab file	Jalur menuju file Kerberos keytab.
   Kerberos principal	Nama Principal dalam file keytab, yang digunakan untuk autentikasi dengan layanan Kerberos. Anda dapat menggunakan perintah klist -kt <keytab_file> untuk melihat nama Principal dalam file keytab tersebut.

Langkah 5: Gunakan Hive Metastore

1. Di halaman Catalogs, temukan entri hive_metastore dan klik Set as default pada kolom Actions untuk menetapkannya sebagai katalog data default untuk ruang kerja.

2. Restart sesi SQL.

   Jika sesi SQL sedang berjalan di ruang kerja Anda, Anda harus me-restart sesi tersebut agar pengaturan hive_metastore berlaku.

3. Kueri data dari tabel hive_metastore dalam pekerjaan SparkSQL Anda.

   1. Buat pekerjaan pengembangan SparkSQL. Untuk informasi selengkapnya, lihat SparkSQL development.

   2. Jalankan perintah berikut untuk mengkueri tabel dw_users di layanan Hive Metastore:

      SELECT * FROM dw_users;

      Kueri tersebut mengembalikan satu catatan, dengan nilai Bob pada kolom name.

FAQ