:Lindorm Spark SQL ノード

背景情報

Lindorm は、クラウドネイティブアーキテクチャに基づく分散コンピューティングサービスです。 Community Edition の計算モデルをサポートし、Spark インターフェイスと互換性があり、Lindorm ストレージエンジンの特性を深く統合しています。 Lindorm を使用すると、基盤となるレイヤーのデータストレージ特性とインデックス機能を活用して、分散ジョブとタスクを効率的に完了できます。 Lindorm は、大量データ処理、インタラクティブ分析、機械学習、グラフコンピューティングなどのシナリオで使用できます。

Lindorm Spark SQL ノードを作成する

Lindorm Spark SQL ノードを作成する方法については、「Lindorm Spark SQL ノードを作成する」をご参照ください。

Lindorm Spark SQL ノードを構成する

Lindorm Spark SQL ノードのコードをコードエディタで記述する場合、${variable name} 形式で変数を定義できます。その後、[デバッグ構成] タブまたは [プロパティ] タブで変数に値を割り当てることができます。Lindorm テーブルを作成し、テーブルにデータを挿入するサンプルコード:

CREATE TABLE IF NOT EXISTS lindorm_table_job (
  id INT,
  name STRING,
  data STRING
)
USING parquet
PARTITIONED BY (partition_date DATE);

INSERT OVERWRITE TABLE lindorm_table_job PARTITION (partition_date='${var}')
VALUES (1, 'Alice', 'Sample data 1'), (2, 'Bob', 'Sample data 2');

Lindorm Spark SQL 操作の詳細については、「SQL リファレンス」をご参照ください。

Lindorm Spark SQL ノードをデバッグする

1. Lindorm Spark SQL ノードをデバッグするためのプロパティを構成します。

   Lindorm Spark SQL ノードの構成タブの右側にあるナビゲーションウィンドウで、前提条件デバッグ構成 をクリックします。 タブで、次の表に示すパラメータを構成します。

   パラメータ	説明
   計算リソース	ワークスペースに関連付ける Lindorm 計算リソースを選択します。
   Lindorm リソースグループ	Lindorm 計算リソースをワークスペースに関連付けるときに指定した Lindorm リソースグループを選択します。
   リソースグループ	Lindorm 計算リソースをワークスペースに関連付けるときに接続テストに合格したリソースグループを選択します。
   スクリプトパラメータ	Lindorm Spark SQL ノードを構成するときに ${パラメータ名} 形式で変数を定義した場合は、[スクリプトパラメータ] セクションで [パラメータ名] パラメータと [パラメータ値] パラメータを構成する必要があります。 Lindorm Spark SQL ノードが実行されると、構成したパラメータは動的に実際の値に置き換えられます。 詳細については、「スケジューリングパラメータのサポートされている形式」をご参照ください。
   Spark パラメータ	Spark 構成パラメータ。 パラメータ設定の詳細については、「参照ジョブのパラメータを構成する」をご参照ください。

2. Lindorm Spark SQL ノードをデバッグして実行します。

   Lindorm Spark SQL ノードの構成タブの上部にあるツールバーで、保存実行 と をクリックして、ノードを保存して実行します。

次の手順

• ノードのスケジューリング: ワークスペースディレクトリ内のノードを定期的にスケジュールするには、ノードの構成タブの右側にあるナビゲーションウィンドウで プロパティ手順 をクリックし、 セクションでノードのスケジューリングプロパティを構成します。

• ノードのデプロイ: 実行のために本番環境にノードをデプロイするには、ノードの構成タブの上部にあるツールバーの アイコンをクリックして、デプロイプロセスを開始します。 ワークスペースディレクトリ内のノードは、本番環境にデプロイされている場合にのみ定期的にスケジュールできます。