AnalyticDB:Spark SQL を使用した Hudi 外部テーブルへのデータの読み取りと書き込み

データベースの作成

データベースが既に存在する場合は、このステップをスキップしてください。

CREATE DATABASE adb_external_db_hudi
LOCATION 'oss://<bucket_name>/test/';  -- ご利用の OSS パスに置き換えてください

Hudi 外部テーブルの作成

CREATE TABLE adb_external_db_hudi.test_hudi_tbl (
  `id`   int,
  `name` string,
  `age`  int
) USING hudi
TBLPROPERTIES (
  primaryKey      = 'id',
  preCombineField = 'age'
)
PARTITIONED BY (age)
LOCATION 'oss://<bucket_name>/test/table/';  -- ご利用の OSS パスに置き換えてください

INSERT

以下のいずれかのメソッドを使用してデータを挿入します：

INSERT INTO — テーブルに行を追加します：

INSERT INTO adb_external_db_hudi.test_hudi_tbl VALUES (1, 'lisa', 10), (2, 'jams', 10);

INSERT OVERWRITE — 既存のすべてのデータを置き換えます：

INSERT OVERWRITE adb_external_db_hudi.test_hudi_tbl VALUES (1, 'lisa', 10), (2, 'jams', 20);

静的パーティションを指定した INSERT OVERWRITE — 特定のパーティションのデータを置き換えます：

INSERT OVERWRITE adb_external_db_hudi.test_hudi_tbl PARTITION (age=10) VALUES (1, 'anna');

動的パーティションを指定した INSERT OVERWRITE — データを置き換え、データからパーティション値を導出します：

INSERT OVERWRITE adb_external_db_hudi.test_hudi_tbl PARTITION (age) VALUES (1, 'bom', 10);

UPDATE

特定の行を更新します — この例では、id = 2 の行の name を 'box' に設定します：

UPDATE adb_external_db_hudi.test_hudi_tbl SET name = 'box' WHERE id = 2;

DELETE

特定の行を削除します — この例では、id = 1 の行を削除します：

DELETE FROM adb_external_db_hudi.test_hudi_tbl WHERE id = 1;

同時実行制御

Hudi 外部テーブルは、ロックプロバイダーベースの同時実行制御メカニズムを使用します。異なるデータ範囲への複数の同時書き込みは許可されますが、書き込み競合を防ぐためにデータ範囲が重複してはなりません。

オープンソースの Hudi JAR パッケージを使用する場合、MdsBasedLockProvider は同時実行制御に利用できません。Hudi 構成のパラメーター名は、hoodie.* プレフィックスを使用します。これは Hudi プロジェクトの元の内部命名規則であり、タイプミスではありません。

同時 DML 操作を実行する前に、次のパラメーターを設定します。Hudi の同時実行制御メカニズムの詳細については、「同時実行制御」をご参照ください。

SET hoodie.cleaner.policy.failed.writes  = LAZY;
SET hoodie.write.concurrency.mode        = OPTIMISTIC_CONCURRENCY_CONTROL;
SET hoodie.write.lock.provider           = org.apache.hudi.sync.adb.MdsBasedLockProvider;