AnalyticDB:DataWorks での Spark ジョブのスケジューリング

ステップ 1: ADB Spark SQL ノードの作成

1. DataWorks コンソールの [ワークスペース] ページに移動します。上部のナビゲーションバーで、目的のリージョンを選択します。目的のワークスペースを見つけ、[アクション] 列で [ショートカット] > [Data Studio] を選択します。

2. [プロジェクトフォルダー]の横にあるアイコンをクリックし、[新規ノード...] > [AnalyticDB] > [ADB Spark SQL]を選択します。

3. 表示されるダイアログボックスで、ノードの名前を入力して Enter キーを押します。

ステップ 2: ADB Spark SQL ノードの開発

1. このトピックでは、ADB Spark SQL ノードで外部データベースを作成する方法の例を示します。内部テーブルの作成方法については、「Spark SQL を使用して内部テーブルを作成する」をご参照ください。

   CREATE DATABASE IF NOT EXISTS `adb_spark_db` LOCATION 'oss://testBucketname/db_dome';

2. ADB Spark SQL ノードに外部テーブル adb_spark_db.tb_order を作成します。

   CREATE TABLE IF NOT EXISTS adb_spark_db.tb_order(id int, name string, age int) 
   USING parquet 
   LOCATION 'oss://testBucketname/db_dome/tb1' 
   TBLPROPERTIES ('parquet.compress'='SNAPPY');

3. データのクエリ

   外部テーブルが作成された後、AnalyticDB for MySQL の SELECT 文を使用して Parquet データをクエリできます。

   SELECT * FROM adb_spark_db.tb_order limit 100;

4. ADB Spark SQL ノードに Delta Lake テーブル adb_spark_db.raw_order を作成します。

   CREATE TABLE IF NOT EXISTS adb_spark_db.raw_order(id int, name string, age int) 
   USING delta;

5. adb_spark_db.tb_order から adb_spark_db.raw_order にデータをインポートします。

   INSERT INTO adb_spark_db.raw_order SELECT * FROM adb_spark_db.tb_order;

6. AnalyticDB for MySQL にデータベースを作成します。データベースが既に作成されている場合は、このステップをスキップできます。以下に例を示します:

   CREATE DATABASE adb_demo; 

7. Delta Lake テーブルからインポートされたデータを格納するために、AnalyticDB for MySQL に内部テーブルを作成します。以下に例を示します:

   CREATE TABLE adb_demo.order_xuanwu_format (
       `id` int, 
       `name` string, 
       `age` int) 
   using adb 
       TBLPROPERTIES (
       'distributeType'='HASH',
       'distributeColumns' = 'id',
       'storagePolicy' = 'hot'
   );

8. Delta Lake テーブル adb_spark_db.raw_order から order_xuanwu_format にデータをインポートします。

   INSERT OVERWRITE adb_demo.order_xuanwu_format SELECT * FROM adb_spark_db.adb_spark_db.raw_order;

ステップ 3: ADB Spark SQL ノードの構成と実行

1. 右側のペインで、[デバッグ構成] をクリックして、ADB Spark SQL ノードの実行時パラメーターを構成します。

   パラメータータイプ	パラメーター	説明
   計算リソース	計算リソース	アタッチされている AnalyticDB for Spark 計算リソースを選択します。
   	ADB 計算リソースグループ	AnalyticDB for MySQL クラスターで作成した Spark エンジンを持つインタラクティブリソースグループを選択します。
   DataWorks 構成	リソースグループ	AnalyticDB for Spark 計算リソースをアタッチしたときに接続性テストに合格した DataWorks リソースグループを選択します。
   	計算 CU	ノードはデフォルトの CU 値を使用します。CU を変更する必要はありません。
   スクリプトパラメーター	パラメーター名	ADB Spark SQL ノードに指定したパラメーターの名前。たとえば、スクリプトで $[yyyymmdd] パラメーターを構成して、毎日の新しいデータのバッチ同期を実行できます。サポートされているパラメーターとそのフォーマットについては、「スケジューリングパラメーターの構成」をご参照ください。 説明 システムは、ノードで構成されたパラメーター名を自動的に検出します。
   	パラメーター値	パラメーター値を構成します。実行時に、パラメーターは実際の値に動的に置き換えられます。

2. (オプション) ノードタスクをスケジュールで実行するには、ノードの右側にある [スケジューリング構成] ペインの [スケジューリングポリシー] セクションで [計算リソース]、[ADB 計算リソースグループ]、および [スケジューリングリソースグループ] パラメーターを構成します。次に、[スケジューリングパラメーター] セクションでパラメーターを構成します。

3. デバッグ設定を構成した後、 アイコンをクリックして SQL ノードを保存します。次に、 アイコンをクリックして SQL スクリプトをテストし、期待どおりに実行されることを確認します。

4. スケジューリング構成が完了したら、データベースノードを本番環境に送信して公開できます。

5. タスクを公開すると、構成されたパラメーターに基づいて定期的に実行されます。[オペレーションセンター] > [タスク O&M] > [定期タスク O&M] > [定期タスク] ページで、公開された定期タスクを表示および管理できます。詳細については、「オペレーションセンターの概要」をご参照ください。

ステップ 1: ADB Spark ノードの作成

1. DataWorks コンソールの [ワークスペース] ページに移動します。上部のナビゲーションバーで、目的のリージョンを選択します。目的のワークスペースを見つけ、[アクション] 列で [ショートカット] > [Data Studio] を選択します。

2. [プロジェクトフォルダー] の横にある アイコンをクリックし、[新規ノード...] > [AnalyticDB] > [ADB Spark] を選択します。

3. 表示されるダイアログボックスで、ノードの名前を入力して Enter キーを押します。

ステップ 2: ADB Spark ノードの開発

ADB Spark ノードは、Java/Scala および Python での開発をサポートしています。

ステップ 3: ADB Spark ノードの構成と実行

1. 右側のペインで、[デバッグ構成] をクリックして、ADB Spark ノードの実行時パラメーターを構成します。

   パラメータータイプ	パラメーター	説明
   計算リソース	計算リソース	アタッチされている AnalyticDB for Spark 計算リソースを選択します。
   	ADB 計算リソースグループ	AnalyticDB for MySQL クラスターで作成したジョブリソースグループを選択します。
   DataWorks 構成	リソースグループ	AnalyticDB for Spark 計算リソースをアタッチしたときに接続性テストに合格した DataWorks リソースグループを選択します。
   	計算 CU	ノードはデフォルトの CU 値を使用します。CU を変更する必要はありません。
   スクリプトパラメーター	パラメーター名	ADB Spark JAR ジョブで構成したパラメーターの名前。 説明 システムは、ノードで構成されたパラメーター名を自動的に検出します。
   	パラメーター値	パラメーター値を構成します。実行時に、パラメーターは実際の値に動的に置き換えられます。

2. (オプション) ノードタスクをスケジュールで実行するには、ノードの右側にある [スケジューリング構成] ペインの [スケジューリングポリシー] セクションで [計算リソース]、[ADB 計算リソースグループ]、および [スケジューリングリソースグループ] パラメーターを構成します。次に、[スケジューリングパラメーター] セクションでパラメーターを構成します。

3. デバッグ設定を構成した後、 アイコンをクリックしてノードを保存します。次に、 アイコンをクリックしてスクリプトをテストし、期待どおりに実行されることを確認します。

4. スケジューリング構成が完了したら、データベースノードを本番環境に公開できます。

5. 公開された定期タスクは、構成されたパラメーターに基づいて定期的に実行されます。タスクは [オペレーションセンター] > [タスク O&M] > [定期タスク O&M] > [定期タスク] ページで表示および管理できます。詳細については、「オペレーションセンターの概要」をご参照ください。