Lindorm:Kembangkan aplikasi dengan JDBC

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Instans Lindorm dengan LindormTable yang diaktifkan. Lihat Buat instans.

• LDPS yang diaktifkan untuk instans tersebut. Lihat Aktifkan LDPS dan modifikasi konfigurasi.

• JDK 1.8 atau versi lebih baru yang diinstal di IDE Java.

Dapatkan titik akhir JDBC

Titik akhir JDBC mengikuti format berikut:

jdbc:hive2://<host>:10009/;?token=<your-token>

Untuk mengetahui titik akhir instans Anda, lihat Lihat titik akhir.

Hubungkan dengan Beeline

Gunakan Beeline, klien CLI interaktif yang disertakan dalam paket rilis Spark, untuk menjalankan pernyataan SQL langsung terhadap LDPS tanpa menulis kode aplikasi apa pun.

1. Unduh paket rilis Spark dan ekstrak isinya.

2. Tetapkan variabel lingkungan SPARK_HOME ke direktori hasil ekstraksi:

   export SPARK_HOME=/path/to/spark/

3. Konfigurasikan $SPARK_HOME/conf/beeline.conf dengan parameter berikut:

   Parameter	Deskripsi
   endpoint	Titik akhir JDBC LDPS
   user	Username untuk tabel lebar Lindorm
   password	Password untuk tabel lebar Lindorm
   shareResource	Apakah beberapa session interaktif berbagi sumber daya Spark. Default: true

4. Jalankan Beeline:

   /bin/beeline

   Dalam sesi interaktif, eksekusi pernyataan SQL terhadap sumber data LDPS Anda.

LDPS mendukung berbagai jenis sumber data. Untuk detailnya, lihat Perhatian.

Contoh: Buat dan kueri tabel dengan Hive Metastore

Setelah Anda mengaktifkan Hive Metastore, jalankan pernyataan berikut untuk membuat tabel, memasukkan data, dan mengkuerinya. Untuk petunjuk pengaturan, lihat Gunakan Hive Metastore untuk mengelola metadata di Lindorm.

CREATE TABLE test (id INT, name STRING);
INSERT INTO test VALUES (0, 'Jay'), (1, 'Edison');
SELECT id, name FROM test;

Hubungkan dengan Java

Semua contoh Java menggunakan driver org.apache.hive.jdbc.HiveDriver dan API DriverManager.getConnection().

1. Tambahkan dependensi driver JDBC ke proyek Anda. Maven (pom.xml):

   <dependency>
       <groupId>org.apache.hive</groupId>
       <artifactId>hive-jdbc</artifactId>
       <version>2.3.8</version>
   </dependency>

2. Hubungkan ke LDPS dan jalankan kueri:

   import java.sql.*;
   
   public class App {
       public static void main(String[] args) throws Exception {
           // Daftarkan driver JDBC Hive
           Class.forName("org.apache.hive.jdbc.HiveDriver");
   
           // Ganti dengan titik akhir JDBC LDPS Anda
           String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****";
           String user = "";
           String password = "";
   
           Connection con = DriverManager.getConnection(endpoint, user, password);
           Statement stmt = con.createStatement();
   
           // Eksekusi kueri dan cetak hasilnya
           ResultSet res = stmt.executeQuery("SELECT * FROM test");
           while (res.next()) {
               System.out.println(res.getString(1));
           }
       }
   }

3. (Opsional) Teruskan parameter pekerjaan Spark dengan menambahkannya ke URL titik akhir menggunakan tanda titik koma:

   String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****"
       + ";spark.dynamicAllocation.minExecutors=3"
       + ";spark.sql.adaptive.enabled=false";

Hubungkan dengan Python

Semua contoh Python menggunakan pustaka JayDeBeApi, yang menjembatani antarmuka Python DB-API 2.0 ke driver JDBC Hive.

1. Unduh paket rilis Spark dan ekstrak isinya.

2. Tetapkan variabel lingkungan:

   export SPARK_HOME=/path/to/dir/
   export CLASSPATH=$CLASSPATH:$SPARK_HOME/jars/*

3. Instal JayDeBeApi:

   pip install JayDeBeApi

4. Hubungkan ke LDPS dan jalankan kueri:

   import jaydebeapi
   
   driver   = 'org.apache.hive.jdbc.HiveDriver'
   endpoint = 'jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****'
   jar_path = '/path/to/sparkhome/jars/hive-jdbc-****.jar'
   user     = '****'
   password = '****'
   
   conn = jaydebeapi.connect(driver, endpoint, [user, password], [jar_path])
   cursor = conn.cursor()
   
   cursor.execute("select 1")
   results = cursor.fetchall()
   
   cursor.close()
   conn.close()

5. (Opsional) Teruskan parameter pekerjaan Spark dengan menambahkannya ke string titik akhir:

   endpoint = (
       "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****"
       ";spark.dynamicAllocation.minExecutors=3"
       ";spark.sql.adaptive.enabled=false"
   )

Langkah selanjutnya

• Perhatian — sumber data yang didukung dan batasan yang diketahui untuk LDPS

• Gunakan Hive Metastore untuk mengelola metadata di Lindorm — kelola metadata tabel untuk kueri Beeline dan JDBC

• Aktifkan LDPS dan modifikasi konfigurasi — sesuaikan pengaturan kluster LDPS