Lindorm:JAR ジョブ開発実践

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

• LindormTable が有効化された Lindorm インスタンスが存在すること。詳細については、「インスタンスの作成」をご参照ください。

• コンピュートエンジンサービスが有効化されていること。詳細については、「サービスの有効化、スペックアップ、またはスペックダウン」をご参照ください。

• JDK 1.8 以降がインストール済みであること。

ステップ 1：依存関係の構成

Lindorm コンピュートエンジンは、Spark 3.3.1 のコミュニティ版上で動作します。scope を provided に設定することで、Spark ライブラリが JAR にバンドルされなくなります。これらのライブラリはクラスター側でランタイム時に提供されます。

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.12</artifactId>
  <version>3.3.1</version>
  <scope>provided</scope>
</dependency>

ステップ 2：権限の構成

Spark SQL から LindormTable のデータにアクセスするには、SparkConf にユーザー名とパスワードを設定します。デフォルトの認証情報は root/root です。

SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");

LindormTable のデータへのアクセスに関する詳細については、「LindormTable におけるデータへのアクセス」をご参照ください。

ステップ 3：パラメーターの構成

サポートされる設定項目の全一覧およびその構成方法については、「ジョブの構成」をご参照ください。

ステップ 4：コード例

JAR ジョブの開発は、Spark 3.3.1 のコミュニティ版と完全に互換があります。コード例については、「Spark ジョブのサンプル」をご参照ください。

ステップ 5：ジョブの送信

Lindorm コンピュートエンジンでは、ジョブの送信方法として以下の 2 通りがサポートされています。ご自身のワークフローに合った方法をお選びください。