JAR ジョブを使用してコンピュートエンジンにアクセスする方法 - Lindorm

このトピックでは、Lindorm コンピュートエンジン用の JAR ジョブを開発する手順について説明します。

前提条件

Lindorm インスタンスが作成され、そのインスタンスで LindormTable が有効化されていること。詳細については、「インスタンスの作成」をご参照ください。
Lindorm インスタンスでコンピュートエンジンサービスが有効化されていること。詳細については、「サービスの有効化、スペックアップ、またはスペックダウン」をご参照ください。
Java 環境がインストールされていること。 JDK 1.8 以降のバージョンが必要です。

ステップ 1: 依存関係の設定

Lindorm コンピュートエンジンの JAR ジョブは、Spark 3.3.1 のコミュニティ版に依存します。 scope フィールドを provided に設定する必要があります。次のコードは例です。

<!-- 例 -->
<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.12</artifactId>
  <version>3.3.1</version>
  <scope>provided</scope>
</dependency>

ステップ 2: 権限の構成

Spark SQL を使用して LindormTable のデータにアクセスする場合は、ユーザー名とパスワードを設定する必要があります。データへのアクセス方法の詳細については、「LindormTable のデータにアクセスする」をご参照ください。次のコードは例です。

SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");

パラメーター	値	説明
spark.sql.catalog.lindorm_table.username	デフォルトのユーザー名は root です。	LindormTable へのアクセスに使用されるユーザー名です。
spark.sql.catalog.lindorm_table.password	デフォルトのパスワードは root です。	LindormTable へのアクセスに使用されるパスワードです。

ステップ 3: パラメーターの構成

Lindorm コンピュートエンジンが提供する設定項目とメソッドの詳細については、「ジョブ設定」をご参照ください。

ステップ 4: コード例

JAR ジョブ開発は、Spark 3.3.1 のコミュニティ版と完全に互換性があります。コード例については、「Spark ジョブの例」をご参照ください。

ステップ 5: ジョブの送信

Lindorm コンピュートエンジンでは、次の 2 つの方法でジョブを送信および管理できます。

Lindorm コンソールでジョブを送信します。詳細については、「コンソールでのジョブの管理」をご参照ください。
DMS を使用してジョブを送信します。詳細については、「DMS を使用したジョブの管理」をご参照ください。