DataWorks:Lindorm Spark SQL ノード

背景

Lindorm は、クラウドネイティブアーキテクチャ上に構築された分散コンピューティングサービスです。コミュニティ版の計算モデルをサポートし、Spark インターフェイスと互換性があり、Lindorm ストレージエンジンと深く統合されています。Lindorm は、基盤となるデータストレージの特徴およびインデックス機能を活用して、分散ジョブを効率的に完了させ、大規模データ処理、対話型分析、機械学習、グラフコンピューティングなどのユースケースに最適です。

Lindorm Spark SQL ノードを作成する

ノードを作成するには、「Lindorm Spark SQL ノードの作成」をご参照ください。

Lindorm Spark SQL ノードの開発

SQL エディター内で、${variable_name} 構文を使用して変数を定義します。その後、これらの変数に値を割り当てるには、ノードエディターページ右側の Run Configuration または スケジュール設定 パネルを使用します。

CREATE TABLE IF NOT EXISTS lindorm_table_job (
  id INT,
  name STRING,
  data STRING
)
USING parquet
PARTITIONED BY (partition_date DATE);

INSERT OVERWRITE TABLE lindorm_table_job PARTITION (partition_date='${var}')
VALUES (1, 'Alice', 'Sample data 1'), (2, 'Bob', 'Sample data 2');

Lindorm Spark SQL のその他の操作については、「SQL リファレンス」をご参照ください。

Lindorm Spark SQL ノードのデバッグ

1. 実行時プロパティを構成します。

   右側の Run Configuration パネルで、計算リソース、Lindorm リソースグループ、および リソースグループ を構成します。以下の表に各パラメーターの説明を示します。

   パラメーター	説明
   計算リソース	バインド済みの Lindorm 計算リソースを選択します。
   Lindorm リソースグループ	Lindorm 計算リソースをバインドする際に指定した Lindorm リソースグループを選択します。
   リソースグループ	Lindorm Spark 計算リソースをバインドする際に接続性テストを通過したリソースグループを選択します。
   スクリプトパラメーター	ノードコード内で ${Parameter Name} 構文を使用して変数を定義した場合、各変数に対して値を指定する必要があります。詳細については、「スケジュールパラメーターのソースと式」をご参照ください。
   Spark パラメーター	Spark プログラムの実行時パラメーターです。Spark 構成の詳細については、「ジョブのパラメーター構成」をご参照ください。

2. ノードをデバッグします。

   ノードタスクを実行するには、保存 をクリックしてから、実行 をクリックします。

次のステップ

• ノードのスケジュール設定：ノードを定期的に実行する必要がある場合、右側の スケジュールポリシー およびその他の関連設定を プロパティ パネルで構成します。

• ノードの公開：タスクをデプロイするには、 アイコンをクリックして公開ワークフローを開始します。ノードは公開後にのみ定期実行のスケジュール対象となります。

• データマップ（Lindorm テーブルデータ用）：データマップに移動して、Lindorm からメタデータを収集します。