E-MapReduce:Hudiコネクタ

Hudiコネクタのデフォルト構成を表示するには、次の手順を実行します。EMRコンソールで、Trinoサービスページの [構成] タブに移動します。 [構成] タブで、[hudi.properties] タブをクリックします。 ビジネス要件に基づいて、次の表に示すパラメーターを変更します。

テーブルを作成し、テーブル内のデータをクエリする例：

1. SSHモードでクラスターにログオンします。 詳細については、「クラスターへのログオン」をご参照ください。

2. 次のコマンドを実行して、Spark SQL CLIを起動します。

   spark-sql --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \
   --conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension'

   出力に次の情報が含まれている場合、Spark SQL CLIが起動されます。

   spark-sql>

3. 次のコマンドを実行して、emr_testという名前のテストテーブルを作成します。

   create table if not exists emr_test(
     id bigint,
     name string,
     price double
   ) using hudi
   options (
     type = 'mor',
     primaryKey = 'id,name'
   );

4. 次のコマンドを実行して、テストデータをemr_testテーブルに挿入します。

   insert into emr_test select 1, 'a2', 10;
   insert into emr_test select 1, 'a1', 10;
   insert into emr_test select 2, 'a1', 20;

   説明

   EMR Spark SQLは、HudiテーブルのデータをHiveメタストアまたはDLFに自動的に同期します。

5. Trinoクライアントでデータをクエリします。

   1. 次のコマンドを実行して、Trino CLIを開きます。

      trino --server master-1-1:9090 --catalog hudi --schema default --user hadoop

   2. 次のコマンドを実行して、emr_testテーブルのデータをクエリします。

      select * from emr_test;

      次の出力が返されます。

       _hoodie_commit_time | _hoodie_commit_seqno | _hoodie_record_key | _hoodie_partition_path |                            _hoodie_file_name                            | id | name | price
      ---------------------+----------------------+--------------------+------------------------+-------------------------------------------------------------------------+----+------+-------
       20211025145616      | 20211025145616_0_1   | id:1,name:a2       |                        | ac4ec1e6-528d-4189-bde6-d09e137f63f6-0_0-20-1604_20211025145616.parquet |  1 | a2   |  10.0
       20211025145629      | 20211025145629_0_1   | id:1,name:a1       |                        | ac4ec1e6-528d-4189-bde6-d09e137f63f6-0_0-48-3211_20211025145629.parquet |  1 | a1   |  10.0
       20211025145640      | 20211025145640_0_2   | id:2,name:a1       |                        | ac4ec1e6-528d-4189-bde6-d09e137f63f6-0_0-76-4818_20211025145640.parquet |  2 | a1   |  20.0
      (3 rows)

6. Spark SQL CLIでデータを更新します。

   1. 次のコマンドを実行して、Spark SQL CLIを起動します。

      spark-sql --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \
      --conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension'

      出力に次の情報が含まれている場合、Spark SQL CLIが起動されます。

      spark-sql>

   2. 次のコマンドを実行して、IDが 2 のデータエントリの price の値を更新します。

      update emr_test set price = price + 20 where id = 2;

7. 更新が完了したら、Trinoクライアントでデータをクエリします。

   1. 次のコマンドを実行して、Trino CLIを開きます。

      trino --server master-1-1:9090 --catalog hudi --schema default --user hadoop

   2. 次のコマンドを実行して、emr_testテーブルのデータをクエリします。

      select * from emr_test;

      次の出力が返されます。

       _hoodie_commit_time | _hoodie_commit_seqno | _hoodie_record_key | _hoodie_partition_path |                            _hoodie_file_name                            | id | name | price
      ---------------------+----------------------+--------------------+------------------------+-------------------------------------------------------------------------+----+------+-------
       20211025145616      | 20211025145616_0_1   | id:1,name:a2       |                        | ac4ec1e6-528d-4189-bde6-d09e137f63f6-0_0-20-1604_20211025145616.parquet |  1 | a2   |  10.0
       20211025145629      | 20211025145629_0_1   | id:1,name:a1       |                        | ac4ec1e6-528d-4189-bde6-d09e137f63f6-0_0-48-3211_20211025145629.parquet |  1 | a1   |  10.0
       20211025145640      | 20211025145640_0_2   | id:2,name:a1       |                        | ac4ec1e6-528d-4189-bde6-d09e137f63f6-0_0-76-4818_20211025145640.parquet |  2 | a1   |  40.0
      (3 rows)