E-MapReduce:Metode koneksi Hive

Gunakan klien Hive

Jalankan perintah berikut:

hive

Untuk keluar, jalankan quit; atau exit;.

Gunakan Beeline

Jalankan perintah berikut:

beeline -u jdbc:hive2://master-1-1:10000

Untuk keluar, jalankan !quit atau !exit.

Gunakan JDBC

1. Tambahkan hadoop-common dan hive-jdbc sebagai dependensi dalam file pom.xml Anda:

   <dependencies>
       <dependency>
           <groupId>org.apache.hive</groupId>
           <artifactId>hive-jdbc</artifactId>
           <version>3.1.3</version>
       </dependency>
       <dependency>
           <groupId>org.apache.hadoop</groupId>
           <artifactId>hadoop-common</artifactId>
           <version>3.2.1</version>
       </dependency>
   </dependencies>

   Pastikan versi tersebut sesuai dengan versi Hadoop-Common dan Hive di kluster EMR Anda. Periksa informasi ini di bagian Software Information pada tab Basic Information di Konsol EMR.

2. Tulis kode untuk menghubungkan ke HiveServer2 dan melakukan kueri data:

   import java.sql.*;
   
   public class App {
       private static String driverName = "org.apache.hive.jdbc.HiveDriver";
   
       public static void main(String[] args) throws SQLException {
           try {
               Class.forName(driverName);
           } catch (ClassNotFoundException e) {
               e.printStackTrace();
           }
   
           // Ganti <Public IP address of the master node> dengan alamat IP publik sebenarnya
           Connection con = DriverManager.getConnection(
               "jdbc:hive2://<Public IP address of the master node>:10000", "root", "");
   
           Statement stmt = con.createStatement();
   
           String sql = "select * from sample_tbl limit 10";
           ResultSet res = stmt.executeQuery(sql);
   
           while (res.next()) {
               System.out.println(res.getString(1) + "\t" + res.getString(2));
           }
       }
   }

   Catatan

   Metode ini memerlukan port 10000 terbuka. Untuk informasi lebih lanjut, lihat Manage security groups.

3. Kemas proyek sebagai file JAR dan unggah ke host tempat Anda ingin menjalankannya.

   Penting

   File JAR memerlukan hadoop-common dan hive-jdbc untuk dijalankan. Jika lingkungan runtime Anda tidak menyertakan paket dependensi ini dalam variabel lingkungan, Anda harus mengunduh dan mengonfigurasinya atau mengemasnya bersama dalam file JAR. Jika dependensi ini tidak tersedia saat menjalankan file JAR, error berikut akan muncul:

   • hadoop-common tidak ditemukan: java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration

   • hive-jdbc tidak ditemukan: java.lang.ClassNotFoundException: org.apache.hive.jdbc.HiveDriver

   Dalam contoh ini, file JAR yang dihasilkan adalah emr-hiveserver2-1.0.jar. Unggah file JAR ini ke node master kluster E-MapReduce.

4. Jalankan file JAR:

   Penting

   Server tempat Anda menjalankan file JAR dan kluster E-MapReduce harus berada dalam VPC dan security group yang sama serta memiliki konektivitas jaringan. Jika berada di VPC atau lingkungan jaringan yang berbeda, Anda harus menggunakan alamat IP publik untuk akses. Atau, Anda dapat menggunakan produk jaringan untuk membuat koneksi antara keduanya lalu menggunakan jaringan internal untuk akses. Untuk menguji konektivitas jaringan:

   • Jaringan publik: telnet <Public IP address of master-1-1> 10000

   • Jaringan internal: telnet <Internal IP address of master-1-1> 10000

   java -jar emr-hiveserver2-1.0.jar

Siapkan otentikasi Kerberos

1. Buka CLI admin Kerberos.

   • Di master-1-1 (node Key Distribution Center (KDC)), jalankan sebagai root:

     kadmin.local

     CLI siap digunakan ketika output mencakup:

     Authenticating as principal hadoop/admin@EMR.C-85D4B8D74296****.COM with password.
     kadmin.local:

   • Di node atau gateway lainnya, jalankan:

     kadmin -p <admin-user> -w <admin-password>

     Ganti placeholder berikut:

     Placeholder	Nilai
     <admin-user>	root/admin (untuk KDC yang dikelola sendiri di EMR)
     <admin-password>	Nilai parameter admin_pwd, yang dapat ditemukan di tab Configure layanan Kerberos di Konsol EMR

     CLI siap digunakan ketika output mencakup:

     Authenticating as principal root/admin with password.
     kadmin:

2. Buat principal Kerberos bernama test:

   Catatan

   Simpan username dan password — Anda memerlukannya untuk membuat TGT.

   addprinc -pw 123456 test

   Principal berhasil dibuat ketika output mencakup:

   Principal "test@EMR.C-85D4B8D74296****.COM" created.

   Untuk keluar dari CLI admin, jalankan quit.

3. Buat pengguna sistem dan beralih ke pengguna tersebut:

   useradd test
   su test

4. Buat TGT:

   kinit

   Saat diminta, masukkan password untuk pengguna test (dalam contoh ini, 123456).

Gunakan klien Hive

Setelah menyelesaikan penyiapan Kerberos di atas, jalankan:

beeline -u "jdbc:hive2://master-1-1.c-56187feb57f0****.cn-hangzhou.emr.aliyuncs.com:10000/;principal=hive/_HOST@EMR.c-56187feb57f0****.COM"

Gunakan Beeline

Setelah menyelesaikan penyiapan Kerberos di atas, jalankan:

beeline -u "jdbc:hive2://master-1-1.c-56187feb57f0****.cn-hangzhou.emr.aliyuncs.com:10000/;principal=hive/_HOST@EMR.c-56187feb57f0****.COM"

Ganti nilai berikut berdasarkan kluster Anda:

Gunakan Beeline dengan service discovery ZooKeeper

beeline -u 'jdbc:hive2://master-1-1:2181,master-1-2:2181,master-1-3:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2'

Gunakan Beeline dengan service discovery multi-server

beeline -u 'jdbc:hive2://master-1-1:10000,master-1-2:10000,master-1-3:10000/default;serviceDiscoveryMode=multiServers'