Lindorm：Gunakan JDBC dalam pengembangan aplikasi

Peroleh Titik akhir JDBC yang digunakan untuk mengakses LDPS

Untuk informasi lebih lanjut tentang cara menanyakan titik akhir yang digunakan untuk terhubung ke LDPS, lihat Lihat Titik Akhir.

Gunakan Beeline untuk mengakses JDBC

1. Unduh Paket Rilis Spark.

2. Ekstrak paket rilis Spark yang diunduh.

3. Atur variabel SPARK_HOME ke jalur tempat paket diekstraksi.

   export SPARK_HOME=/path/to/spark/;

4. Konfigurasikan parameter dalam file konfigurasi berikut: $SPARK_HOME/conf/beeline.conf.

   • Titik Akhir: Atur parameter ini ke Titik Akhir JDBC dari LDPS.

   • pengguna: Atur parameter ini ke nama pengguna yang digunakan untuk mengakses tabel lebar Lindorm.

   • kata sandi: Atur parameter ini ke kata sandi yang digunakan untuk mengakses tabel lebar Lindorm.

   • shareResource: Tentukan apakah sumber daya Spark dibagikan oleh beberapa sesi interaktif. Nilai default dari parameter ini adalah true.

5. Jalankan perintah /bin/beeline. Dalam sesi interaktif, eksekusi Pernyataan SQL.

   LDPS mendukung berbagai jenis sumber data. Untuk informasi lebih lanjut, lihat Tindakan Pencegahan.

   Sebagai contoh, setelah Anda mengaktifkan Hive Metastore, Anda dapat mengeksekusi pernyataan berikut untuk membuat tabel, menulis data ke tabel, dan menanyakan data dalam tabel. Untuk informasi lebih lanjut, lihat Gunakan Hive Metastore untuk Mengelola Metadata di Lindorm.

   CREATE TABLE test (id INT, name STRING);
   INSERT INTO test VALUES (0, 'Jay'), (1, 'Edison');
   SELECT id, name FROM test;

Kembangkan kode Java untuk mengakses JDBC

1. Tambahkan dependensi pada JDBC di lingkungan Anda, seperti Maven.

   <dependency>
       <groupId>org.apache.hive</groupId>
       <artifactId>hive-jdbc</artifactId>
       <version>2.3.8</version>
   </dependency>

2. Kembangkan kode Java untuk mengakses JDBC. Kode berikut memberikan contoh tentang cara mengakses JDBC:

   import java.sql.*;
   
   public class App {
       public static void main(String[] args) throws Exception {
           Class.forName("org.apache.hive.jdbc.HiveDriver");
   
           String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****";
           String user = "";
           String password = "";
           Connection con = DriverManager.getConnection(endpoint, user, password);
   
           Statement stmt = con.createStatement();
           String sql = "SELECT * FROM test";
           ResultSet res = stmt.executeQuery(sql);
   
           while (res.next()) {
               System.out.println(res.getString(1));
           }
   
       }
   }

3. Opsional:Jika Anda ingin mengonfigurasi lebih banyak parameter untuk pekerjaan Anda, Anda dapat menentukan parameter dalam Titik Akhir JDBC. Contoh berikut menunjukkan cara menentukan parameter dalam Titik Akhir JDBC:

   String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false";

Kembangkan kode Python untuk mengakses JDBC

1. Unduh Paket Rilis Spark.

2. Ekstrak paket rilis Spark yang diunduh.

3. Konfigurasikan parameter terkait jalur.

   1. Konfigurasikan jalur Spark.

      export SPARK_HOME=/path/to/dir/;

   2. Konfigurasikan variabel CLASSPATH.

      export CLASSPATH=$CLASSPATH:$SPARK_HOME/jars/*;

   3. Instal JayDeBeApi.

      pip install JayDeBeApi

4. Kembangkan kode Python untuk mengakses JDBC. Kode berikut memberikan contoh tentang cara mengakses JDBC:

   import jaydebeapi
   
   driver = 'org.apache.hive.jdbc.HiveDriver'
   endpoint = 'jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****'
   jarPath = '/path/to/sparkhome/jars/hive-jdbc-****.jar'
   user = '****'
   password = '****'
   
   conn=jaydebeapi.connect(driver, endpoint, [user, password], [jarPath])
   cursor = conn.cursor()
   cursor.execute("select 1")
   results = cursor.fetchall()
   
   cursor.close()
   conn.close()

5. Opsional:Jika Anda ingin mengonfigurasi lebih banyak parameter untuk pekerjaan Anda, Anda dapat menentukan parameter dalam Titik Akhir JDBC. Contoh berikut menunjukkan cara menentukan parameter dalam Titik Akhir JDBC:

   endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false"