Cara mengakses LDPS menggunakan JDBC - Lindorm - Alibaba Cloud Documentation Center

Anda dapat menggunakan Java Database Connectivity (JDBC) untuk mengakses layanan Lindorm Distributed Processing System (LDPS) serta menjalankan kueri, analisis, dan pembuatan data dengan Spark SQL.

Prasyarat

Instans Lindorm telah dibuat dan LindormTable telah diaktifkan. Untuk informasi selengkapnya, lihat Buat instans.
Layanan LDPS telah diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan LDPS.
Lingkungan pengembangan Java telah diinstal. Diperlukan JDK 1.8 atau versi yang lebih baru.

Titik akhir JDBC

Untuk melihat titik akhir JDBC dan alamat JAR untuk LDPS, klik Database Connection pada halaman detail instans, lalu klik tab Compute Engine. Untuk informasi selengkapnya, lihat Lihat titik akhir. LDPS menyediakan titik akhir JDBC untuk koneksi VPC maupun jaringan publik dalam format jdbc:hive2://<host>:<port>.

Koneksi ke JDBC dengan Java

Tambahkan dependensi JDBC ke proyek Anda. Contoh berikut menggunakan Maven.

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>2.3.8</version>
</dependency>

Gunakan kode Java berikut untuk terhubung ke layanan JDBC:

import java.sql.*;
public class App {
    public static void main(String[] args) throws Exception {
        Class.forName("org.apache.hive.jdbc.HiveDriver");
        String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****";
        String user = "";
        String password = "";
        Connection con = DriverManager.getConnection(endpoint, user, password);
        Statement stmt = con.createStatement();
        String sql = "SELECT * FROM test";
        ResultSet res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println(res.getString(1));
        }
    }
}

Opsional: Untuk mengonfigurasi parameter pekerjaan tambahan, tambahkan ke string titik akhir JDBC seperti pada contoh berikut:

String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false";

Koneksi ke JDBC dengan Python

Unduh paket rilis Spark.
Ekstrak paket rilis Spark.
Konfigurasikan variabel path.
1. Atur variabel lingkungan SPARK_HOME.
```
export SPARK_HOME=/path/to/dir/;
```
2. Atur variabel lingkungan CLASSPATH.
```
export CLASSPATH=$CLASSPATH:$SPARK_HOME/jars/*;
```
3. Instal JayDeBeApi.
```
pip install JayDeBeApi
```

Gunakan kode Python berikut untuk terhubung ke layanan JDBC:

import jaydebeapi
driver = 'org.apache.hive.jdbc.HiveDriver'
endpoint = 'jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****'
jarPath = '/path/to/sparkhome/jars/hive-jdbc-****.jar'
user = '****'
password = '****'
conn=jaydebeapi.connect(driver, endpoint, [user, password], [jarPath])
cursor = conn.cursor()
cursor.execute("select 1")
results = cursor.fetchall()
cursor.close()
conn.close()

Opsional: Untuk mengonfigurasi parameter pekerjaan tambahan, tambahkan ke string titik akhir JDBC seperti pada contoh berikut:

endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false"