AnalyticDB:Spark SQL を使用してジョブ開発を実行する

前提条件

• AnalyticDB for MySQL Enterprise Edition、Basic Edition、または Data Lakehouse Edition クラスタが作成されている。

• クラスタ用にジョブリソースグループまたは Spark 対話型リソースグループが作成されている。

• Object Storage Service (OSS) バケットが AnalyticDB for MySQL クラスタと同じリージョンに作成されている。

手順 1：Hudi 形式の OSS 外部テーブルを作成する

1. AnalyticDB for MySQL コンソール にログインします。コンソールの左上隅で、リージョンを選択します。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。Enterprise Edition、Basic Edition、または Data Lakehouse Edition タブで、管理するクラスタを見つけ、クラスタ ID をクリックします。

2. 左側のナビゲーションウィンドウで、[ジョブ開発] > [SQL 開発] を選択します。

3. [SQLConsole] タブで、Spark エンジンと、ジョブリソースグループまたは Spark 対話型リソースグループを選択します。

4. 次の文を入力し、[実行(F8)] をクリックして、Hudi データを格納する spark_external_db という名前の外部データベースを作成します。この例では、oss://testBucketName/adb-test-1/ パスが使用されています。

   CREATE DATABASE spark_external_db
   LOCATION 'oss://testBucketName/adb-test-1/';

5. spark_external_db データベースに spark_hudi_table という名前の外部テーブルを作成して、Hudi データを格納します。この例では、oss://testBucketName/adb-test-1/spark_external_db/ パスが使用されています。

   CREATE TABLE spark_external_db.spark_hudi_table
   (id int,
    name string,
    score int,
    city string
   )
   using hudi
   partitioned by (id)
   tblproperties
   (primaryKey = 'id', 
   preCombineField = 'city')
   LOCATION 'oss://testBucketName/adb-test-1/spark_external_db/';

6. データを挿入します。

   INSERT OVERWRITE spark_external_db.spark_hudi_table PARTITION(id) VALUES
   (001,'Anna',99,'London'),
   (002,'Bob',67,'USA'),
   (003,'Cindy',78,'Spain'),
   (004,'Dan',100,'China');

手順 2：Hudi 形式の OSS 外部テーブルのデータをクエリする

1. 次の文を入力し、[実行(F8)] をクリックして、spark_hudi_table テーブルのデータをクエリします。

   SELECT * FROM spark_external_db.spark_hudi_table;

   説明

   Data Lakehouse Edition クラスタに予約済みの計算リソースがある場合、または Enterprise Edition クラスタに予約済みのリソースがある場合は、XIHE MPP SQL を使用して外部テーブルでリアルタイムデータクエリを実行することもできます。この場合は、[SQLConsole] タブで XIHE エンジンと対話型リソースグループを選択します。

2. 左側のナビゲーションウィンドウで、[ジョブ開発] > [Spark JAR 開発] を選択します。[アプリケーション] タブで、SQL 文を見つけ、[アクション] 列の [ログ] をクリックしてテーブルデータを表示します。