DataWorks:ADB Spark SQL ノード

背景情報

データ開発者は、データ分析のために AnalyticDB for MySQL コンソールで Spark SQL ステートメントを直接送信できます。 AnalyticDB for MySQL Serverless Spark インスタンスをコンピューティングリソースとして DataWorks に追加すると、ADB Spark SQL ノードを使用して Spark SQL タスクを実行できます。 詳細については、「Spark SQL 開発の概要」をご参照ください。

前提条件

AnalyticDB for MySQL の前提条件：

• ご利用の DataWorks ワークスペースと同じリージョンに、Basic Edition の AnalyticDB for MySQL クラスターを作成済みであること。詳細については、「クラスターの作成」をご参照ください。

• DataWorks から Spark SQL タスクを実行するために、ご利用の AnalyticDB for MySQL クラスターに、エンジンタイプが Spark に設定されたインタラクティブリソースグループを作成済みであること。詳細については、「インタラクティブリソースグループの作成」をご参照ください。

• ADB Spark SQL ノードで Object Storage Service (OSS) を使用する必要がある場合は、OSS バケットがご利用の AnalyticDB for MySQL クラスターと同じリージョンにあることを確認してください。

DataWorks の前提条件：

• 新しいバージョンのData Development (Data Studio) を使用する が有効になっており、リソースグループがバインドされているワークスペースがあること。詳細については、「ワークスペースの作成」をご参照ください。

• リソースグループが AnalyticDB for MySQL クラスターと同じ Virtual Private Cloud (VPC) にデプロイされており、そのリソースグループの IP アドレスを AnalyticDB for MySQL クラスターのホワイトリストに追加済みであること。詳細については、「ホワイトリストの設定」をご参照ください。

• AnalyticDB for MySQL クラスターインスタンスを AnalyticDB for Spark コンピューティングリソースとして DataWorks に追加し、リソースグループを使用してその接続性を検証済みであること。詳細については、「コンピューティングリソースのバインド」をご参照ください。

• ADB Spark SQL ノードを作成済みであること。詳細については、「スケジューリングワークフローのノード作成」をご参照ください。

ステップ 1: ADB Spark SQL ノードの開発

1. 外部データベースの作成

   ノードエディターで、SQL コードを記述します。次の例は、ADB Spark SQL ノードで外部データベースを作成する方法を示しています。内部テーブルを作成するには、「Spark SQL を使用した内部テーブルの作成」をご参照ください。

   CREATE DATABASE IF NOT EXISTS `adb_spark_db` location 'oss://dw-1127/db_home';

2. ADB Spark SQL ノードの開発

   SQL エディターで、タスクコードを記述します。 ${variable_name} フォーマットで変数を定義し、右側のScheduling SettingsペインのScheduling Parametersセクションで値を割り当てることができます。 これにより、定期実行中に動的パラメーターの受け渡しが可能になります。 スケジューリングパラメーターの詳細については、「スケジューリングパラメーターのソースと式」をご参照ください。 次のコードは一例です。

   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb1' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order_result_${var}(id int, name string, age int) 
   USING parquet 
   location 'oss://dw-1127/db_home/tb2' 
   tblproperties ('parquet.compress'='SNAPPY');
   
   INSERT INTO adb_spark_db.tb_order_result_${var} SELECT * FROM adb_spark_db.tb_order_${var};

   説明

   例の変数 ${var} は $[yyyymmdd] に設定できます。これにより、日次増分データをバッチ処理できます。

ステップ 2: ADB Spark SQL ノードのデバッグ

1. ADB Spark SQL ノードの実行プロパティの設定

   右側の Run Configuration ペインで、Compute Resource、ADB Computing Resource Group、Resource Group、[コンピューティング CU] パラメーターを設定します。詳細については、次の表をご参照ください。

   パラメータータイプ	パラメーター	説明
   Compute Resource	Compute Resource	ワークスペースにバインドした AnalyticDB for Spark コンピューティングリソースを選択します。
   	ADB Computing Resource Group	AnalyticDB for MySQL クラスターで作成したインタラクティブリソースグループを選択します。詳細については、「リソースグループの作成と管理 - [このドキュメントはオフラインであり、新しいバージョンに置き換えられています。レビューは不要です。]」をご参照ください。 説明 インタラクティブリソースグループのエンジンタイプは Spark である必要があります。
   Resource Group	Resource Group	AnalyticDB for Spark コンピューティングリソースをバインドしたときに接続性テストに合格したリソースグループを選択します。
   	[コンピューティング CU]	ノードはデフォルトの計算ユニット (CU) 数を使用します。この値を変更する必要はありません。

2. ADB Spark SQL ノードのデバッグと実行

   タスクを実行するには、Save をクリックしてから Run をクリックします。

ステップ 3: ADB Spark SQL ノードのスケジューリング

1. ADB Spark SQL ノードのスケジューリングプロパティの設定

   ノードを定期的に実行するには、右側の Scheduling Settings ペインに移動します。Scheduling Policy セクションで、ビジネスニーズに基づいて次のパラメーターを設定します。その他のパラメーターの詳細については、「ノードのスケジューリング設定」をご参照ください。

   パラメーター	説明
   Compute Resource	ワークスペースにバインドした AnalyticDB for Spark コンピューティングリソースを選択します。
   ADB Computing Resource Group	AnalyticDB for MySQL クラスターで作成したインタラクティブリソースグループを選択します。詳細については、「リソースグループの作成と管理 - [このドキュメントは現在オフラインです。新しいバージョンに置き換えられたため、レビューは必要ありません。]」をご参照ください。 説明 インタラクティブリソースグループのエンジンタイプは Spark である必要があります。
   Resource Group	AnalyticDB for Spark コンピューティングリソースをバインドした際に、接続性テストに合格したリソースグループを選択します。
   コンピューティング CU	ノードはデフォルトのコンピューティングユニット (CU) 数を使用します。この値を変更する必要はありません。

2. ADB Spark SQL ノードのデプロイ

   ノードを設定した後、デプロイする必要があります。詳細については、「ノードまたはワークフローのデプロイ」をご参照ください。

次のステップ

タスクがデプロイされると、オペレーションセンターで定期タスクの実行ステータスを表示できます。詳細については、「オペレーションセンター入門」をご参照ください。