Lindorm:JDBC 開発

JDBC エンドポイント

Beeline による JDBC 接続

1. Spark リリースパッケージをダウンロードします。

2. Spark リリースパッケージを解凍します。

3. SPARK_HOME 環境変数を解凍後のパッケージのディレクトリに設定します。

   export SPARK_HOME=/path/to/spark/;

4. $SPARK_HOME/conf/beeline.conf ファイルを設定します。

   • endpoint：LDPS の JDBC エンドポイント。

   • user：LindormTable へのアクセスに使用するユーザー名。

   • password：指定されたユーザーのパスワード。

   • shareResource：複数のインタラクティブセッションで Spark リソースを共有するかどうかを指定します。 デフォルト値は true です。

   説明

   追加のジョブパラメーターを設定するには、それらを beeline.conf ファイルに追加します。 各行には key=value 形式で 1 つのジョブパラメーターのみを記述できます。 例： spark.dynamicAllocation.minExecutors=3

5. $SPARK_HOME/bin/beeline コマンドを実行し、インタラクティブセッションで SQL 文を入力します。

   LDPS は様々なデータソースにアクセスできます。 詳細については、「使用上の注意」をご参照ください。

   たとえば、Lindorm の Hive メタストアを有効化した後、次のステートメントでテーブルを作成し、読み書き操作を実行できます。 サービスを有効化する方法の詳細については、「Hive メタストアの有効化」をご参照ください。

   CREATE TABLE test (id INT, name STRING);
   INSERT INTO test VALUES (0, 'Jay'), (1, 'Edison');
   SELECT id, name FROM test;

Java による JDBC 接続

1. プロジェクトに JDBC の依存関係を追加します。 次の例では Maven を使用します。

   <dependency>
       <groupId>org.apache.hive</groupId>
       <artifactId>hive-jdbc</artifactId>
       <version>2.3.8</version>
   </dependency>

2. 次の Java コードで JDBC サービスに接続します。

   import java.sql.*;
   public class App {
       public static void main(String[] args) throws Exception {
           Class.forName("org.apache.hive.jdbc.HiveDriver");
           String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****";
           String user = "";
           String password = "";
           Connection con = DriverManager.getConnection(endpoint, user, password);
           Statement stmt = con.createStatement();
           String sql = "SELECT * FROM test";
           ResultSet res = stmt.executeQuery(sql);
           while (res.next()) {
               System.out.println(res.getString(1));
           }
       }
   }

3. オプション： 追加のジョブパラメーターを設定するには、次の例のように JDBC エンドポイント文字列に追加します。

   String endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false";

Python による JDBC 接続

1. Spark リリースパッケージをダウンロードします。

2. Spark リリースパッケージを解凍します。

3. パス変数を設定します。

   1. SPARK_HOME 環境変数を設定します。

      export SPARK_HOME=/path/to/spark/;

   2. CLASSPATH 環境変数を設定します。

      export CLASSPATH=$CLASSPATH:$SPARK_HOME/jars/*;

   3. JayDeBeApi をインストールします。

      pip install JayDeBeApi

4. 次の Python コードで JDBC サービスに接続します。

   import jaydebeapi
   driver = 'org.apache.hive.jdbc.HiveDriver'
   endpoint = 'jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****'
   jarPath = '/path/to/sparkhome/jars/hive-jdbc-****.jar'
   user = '****'
   password = '****'
   conn=jaydebeapi.connect(driver, endpoint, [user, password], [jarPath])
   cursor = conn.cursor()
   cursor.execute("select 1")
   results = cursor.fetchall()
   cursor.close()
   conn.close()

5. オプション： 追加のジョブパラメーターを設定するには、次の例のように JDBC エンドポイント文字列に追加します。

   endpoint = "jdbc:hive2://123.234.XX.XX:10009/;?token=bisdfjis-f7dc-fdsa-9qwe-dasdfhhv8****;spark.dynamicAllocation.minExecutors=3;spark.sql.adaptive.enabled=false"