AnalyticDB:レイクストレージ

前提条件

クラスターのカーネルバージョンが 3.2.3.0 以降である必要があります。

クラスターバージョンを表示および更新するには、AnalyticDB for MySQL コンソールにログインし、[クラスター情報] ページの [設定情報] セクションに移動します。詳細については、「クラスターのマイナーバージョンを表示および更新する」をご参照ください。

操作手順

1. データ開発に移動します。

   1. AnalyticDB for MySQL コンソールにログインします。左上の隅でリージョンを選択します。左側のナビゲーションウィンドウで、[クラスター] をクリックします。対象のクラスターを見つけて、クラスター ID をクリックします。

   2. 左側のナビゲーションウィンドウで、[ジョブ開発] > [SQL 開発] を選択します。

   3. [SQLConsole] タブで、Spark エンジンとリソースグループ (ジョブリソースグループまたは Spark を使用するインタラクティブリソースグループ) を選択します。

2. データベースと Iceberg テーブルを作成します。

   1. データベースを作成します。

      CREATE DATABASE adb_external_db_iceberg 
      WITH DBPROPERTIES ('adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****');

   2. レイクストレージを有効にして、Iceberg テーブルを作成します。

      SET spark.adb.lakehouse.enabled=true; 
      CREATE TABLE adb_external_db_iceberg.test_iceberg_tbl ( 
        id   int, 
        name string, 
        age  int 
      ) USING iceberg 
      PARTITIONED BY (age) 
      TBLPROPERTIES ('adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****'
      );

      adb_lake_bucket のスコープの動作については、上記のパラメーターテーブルをご参照ください。

3. Iceberg テーブルにデータを書き込みます。

   SET spark.adb.lakehouse.enabled=true;
   INSERT INTO adb_external_db_iceberg.test_iceberg_tbl VALUES (1, 'lisa', 10), (2, 'jams', 10);

4. (任意) Iceberg テーブルから行を削除します。

   SET spark.adb.lakehouse.enabled=true;
   DELETE FROM adb_external_db_iceberg.test_iceberg_tbl WHERE id = 1;
   DELETE FROM adb_external_db_iceberg.test_iceberg_tbl WHERE age = 20;

5. Iceberg テーブルからデータをクエリします。

   SET spark.adb.lakehouse.enabled=true;
   SELECT * FROM adb_external_db_iceberg.test_iceberg_tbl;

   期待される出力：

   +---+----+---+
   |id |name|age|
   +---+----+---+
   |1  |anna|10 |
   |2  |jams|20 |
   +---+----+---+

6. (任意) Iceberg テーブルを削除します。次の文は、AnalyticDB for MySQL からテーブルを削除し、OSS からそのデータを削除します。

   SET spark.adb.lakehouse.enabled=true;
   DROP TABLE adb_external_db_iceberg.test_iceberg_tbl;

前提条件

クラスターのカーネルバージョンが 3.2.5.3 以降である必要があります。

クラスターバージョンを表示および更新するには、AnalyticDB for MySQL コンソールにログインし、[クラスター情報] ページの [設定情報] セクションに移動します。詳細については、「クラスターのマイナーバージョンを表示および更新する」をご参照ください。

操作手順

1. データ開発に移動します。

   1. AnalyticDB for MySQL コンソールにログインします。左上の隅でリージョンを選択します。左側のナビゲーションウィンドウで、[クラスター] をクリックします。対象のクラスターを見つけて、クラスター ID をクリックします。

   2. 左側のナビゲーションウィンドウで、[ジョブ開発] > [SQL 開発] を選択します。

   3. [SQLConsole] ウィンドウで、XIHE エンジンとインタラクティブリソースグループを選択します。

2. 外部データベースと Iceberg 外部テーブルを作成します。

   1. 外部データベースを作成します。

      CREATE EXTERNAL DATABASE test_db 
      WITH DBPROPERTIES ('adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****');

3. Iceberg 外部テーブルを作成します。

   CREATE TABLE test_db.test_iceberg_tbl ( 
     id   int,
     name string 
    ) PARTITIONED BY (age int) 
   STORED AS ICEBERG 
   TBLPROPERTIES ( 
     'catalog_type'    = 'ADB',
     'adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****' );

   次の表にパラメーターを説明します。

   パラメーター	説明
   catalog_type	カタログタイプ。ADB に設定します。
   adb_lake_bucket	このテーブルのレイクストレージ。スコープの動作については、上記のパラメーターテーブルをご参照ください。

4. Iceberg テーブルにデータを書き込みます。

   INSERT INTO test_db.test_iceberg_tbl SELECT 1, 'anna', 10;
   INSERT INTO test_db.test_iceberg_tbl SELECT 2, 'jams', 20;

5. Iceberg テーブルからデータをクエリします。

   SELECT * FROM test_db.test_iceberg_tbl;

   期待される出力：

   +---+----+---+
   |id |name|age|
   +---+----+---+
   |1  |anna|10 |
   |2  |jams|20 |
   +---+----+---+

6. (任意) Iceberg 外部テーブルを削除します。次の文は、AnalyticDB for MySQL からテーブルを削除し、OSS からそのデータを削除します。

   DROP TABLE test_db.test_iceberg_tbl;