How to access LDPS by using JDBC - Lindorm - Alibaba Cloud Dokümantasyon Merkezi

Java Database Connectivity (JDBC) kullanarak Lindorm Distributed Processing System (LDPS) hizmetine erişebilir; Spark SQL ile veri sorgulayabilir, analiz edebilir ve oluşturabilirsiniz.

Ön koşullar

Bir Lindorm örneği oluşturdunuz ve LindormTable'ı etkinleştirdiniz. Daha fazla bilgi için bkz. Örnek oluşturma.
LDPS hizmetini etkinleştirdiniz. Daha fazla bilgi için bkz. LDPS'i etkinleştirme.
Bir Java geliştirme ortamı yüklediniz. JDK 1.8 veya sonraki bir sürüm gereklidir.

JDBC uç noktası

LDPS için JDBC uç noktasını ve JAR adresini görüntülemek üzere örnek ayrıntıları sayfasında Database Connection seçeneğine tıklayın ve ardından Compute Engine sekmesine tıklayın. Daha fazla bilgi için bkz. Uç noktaları görüntüleme. LDPS, VPC ve genel ağ bağlantıları için jdbc:hive2://<host>:<port> biçiminde JDBC uç noktaları sunar.

Java ile JDBC'ye bağlanma

Projenize JDBC bağımlılığını ekleyin. Aşağıdaki örnekte Maven kullanılmıştır.

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>2.3.8</version>
</dependency>

JDBC hizmetine bağlanmak için aşağıdaki Java kodunu kullanın:

import java.sql.*;
public class App {
    public static void main(String[] args) throws Exception {
        Class.forName("org.apache.hive.jdbc.HiveDriver");
        String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****";
        String user = "";
        String password = "";
        Connection con = DriverManager.getConnection(endpoint, user, password);
        Statement stmt = con.createStatement();
        String sql = "SELECT * FROM test";
        ResultSet res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println(res.getString(1));
        }
    }
}

İsteğe bağlı: Ek iş parametrelerini yapılandırmak için bunları aşağıdaki örnekte gösterildiği gibi JDBC uç nokta dizesine ekleyin:

String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false";

Python ile JDBC'ye bağlanma

Spark sürüm paketini indirin.
Spark sürüm paketini arşivden çıkarın.
Yol değişkenlerini yapılandırın.
1. SPARK_HOME ortam değişkenini ayarlayın.
```
export SPARK_HOME=/path/to/dir/;
```
2. CLASSPATH ortam değişkenini ayarlayın.
```
export CLASSPATH=$CLASSPATH:$SPARK_HOME/jars/*;
```
3. JayDeBeApi'yi yükleyin.
```
pip install JayDeBeApi
```

JDBC hizmetine bağlanmak için aşağıdaki Python kodunu kullanın:

import jaydebeapi
driver = 'org.apache.hive.jdbc.HiveDriver'
endpoint = 'jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****'
jarPath = '/path/to/sparkhome/jars/hive-jdbc-****.jar'
user = '****'
password = '****'
conn=jaydebeapi.connect(driver, endpoint, [user, password], [jarPath])
cursor = conn.cursor()
cursor.execute("select 1")
results = cursor.fetchall()
cursor.close()
conn.close()

İsteğe bağlı: Ek iş parametrelerini yapılandırmak için bunları aşağıdaki örnekte gösterildiği gibi JDBC uç nokta dizesine ekleyin:

endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false"