E-MapReduce:Hudi の使用

[セッション] ページに移動します。

1. EMR コンソールにログインします。

2. 左側のナビゲーションウィンドウで、[EMR Serverless] > [Spark] を選択します。

3. [Spark] ページで、対象のワークスペースの名前をクリックします。

4. EMR Serverless Spark ページで、左側のナビゲーションウィンドウの Sessions をクリックします。

SQL Session ページで、Connect to SQL Session をクリックします。

Connect to SQL Session ページで、Spark Configuration セクションに次のパラメーターを追加し、create をクリックします。詳細については、「SQL セッションの管理」をご参照ください。

この設定は、現在のワークスペースのデフォルトカタログに適用されます。外部 Hive メタストアをデフォルトカタログとして使用する方法については、「外部 Hive メタストアサービスへの接続」をご参照ください。

spark.sql.extensions             org.apache.spark.sql.hudi.HoodieSparkSessionExtension
spark.sql.catalog.spark_catalog  org.apache.spark.sql.hudi.catalog.HoodieCatalog
spark.serializer                 org.apache.spark.serializer.KryoSerializer

開発ページに移動します。

EMR Serverless Spark ページで、左側のナビゲーションペインで Development をクリックします。

[開発] タブで、 アイコンをクリックします。

[作成] ダイアログボックスで、users_task などの名前を入力し、タイプはデフォルトの [SparkSQL] のままにして、[OK] をクリックします。

新しく作成された SparkSQL タブ (users_task) に、次のコードを貼り付けます。

CREATE DATABASE IF NOT EXISTS ss_hudi_db;
CREATE TABLE ss_hudi_db.hudi_tbl (id INT, name STRING) USING hudi TBLPROPERTIES (
  type = 'cow',
  primaryKey = 'id'
);
INSERT INTO ss_hudi_db.hudi_tbl VALUES (1, "a"), (2, "b");
SELECT id, name FROM ss_hudi_db.hudi_tbl ORDER BY id;
DROP TABLE ss_hudi_db.hudi_tbl;
DROP DATABASE ss_hudi_db;

ドロップダウンリストから、データベースと先ほど作成した SQL セッションを選択します。

実行 をクリックしてジョブを実行します。

結果は、 id=1 と name=a のレコード、および id=2 と name=b のレコードの 2 つを含むテーブルです。