Desarrollo con JDBC - Lindorm - Centro de documentación de Alibaba Cloud

Puede usar Java Database Connectivity (JDBC) para acceder al servicio Lindorm Distributed Processing System (LDPS). También puede utilizar Spark SQL para consultar, analizar y generar datos.

Requisitos previos

Creó una instancia de Lindorm y activó LindormTable. Para obtener más información, consulte Create an instance.
Activó el servicio LDPS. Para obtener más información, consulte Activate LDPS.
Instaló un entorno de desarrollo de Java. Se requiere JDK 1.8 o posterior.

Endpoint de JDBC

Para consultar el endpoint de JDBC y la dirección JAR de LDPS, haga clic en Database Connection en la página de detalles de la instancia y luego en la pestaña Compute Engine. Para obtener más información, consulte View endpoints. LDPS proporciona endpoints de JDBC tanto para conexiones de VPC como de red pública, con el formato jdbc:hive2://<host>:<port>.

Conexión a JDBC con Java

Agregue la dependencia de JDBC a su proyecto. A continuación se muestra un ejemplo con Maven.

<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-jdbc</artifactId>
    <version>2.3.8</version>
</dependency>

Use el siguiente código de Java para conectarse al servicio JDBC:

import java.sql.*;
public class App {
    public static void main(String[] args) throws Exception {
        Class.forName("org.apache.hive.jdbc.HiveDriver");
        String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****";
        String user = "";
        String password = "";
        Connection con = DriverManager.getConnection(endpoint, user, password);
        Statement stmt = con.createStatement();
        String sql = "SELECT * FROM test";
        ResultSet res = stmt.executeQuery(sql);
        while (res.next()) {
            System.out.println(res.getString(1));
        }
    }
}

Opcional: Para configurar parámetros adicionales del trabajo, agréguelos a la cadena del endpoint de JDBC, como se muestra en el siguiente ejemplo:

String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false";

Conexión a JDBC con Python

Descargue el paquete de versión de Spark.
Descomprima el paquete de versión de Spark.
Configure las variables de ruta.
1. Establezca la variable de entorno SPARK_HOME.
```
export SPARK_HOME=/path/to/dir/;
```
2. Establezca la variable de entorno CLASSPATH.
```
export CLASSPATH=$CLASSPATH:$SPARK_HOME/jars/*;
```
3. Instale JayDeBeApi.
```
pip install JayDeBeApi
```

Use el siguiente código de Python para conectarse al servicio JDBC:

import jaydebeapi
driver = 'org.apache.hive.jdbc.HiveDriver'
endpoint = 'jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****'
jarPath = '/path/to/sparkhome/jars/hive-jdbc-****.jar'
user = '****'
password = '****'
conn=jaydebeapi.connect(driver, endpoint, [user, password], [jarPath])
cursor = conn.cursor()
cursor.execute("select 1")
results = cursor.fetchall()
cursor.close()
conn.close()

Opcional: Para configurar parámetros adicionales del trabajo, agréguelos a la cadena del endpoint de JDBC, como se muestra en el siguiente ejemplo:

endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false"