AnalyticDB:レイクストレージ

前提条件

クラスターのカーネルバージョンが 3.2.3.0 以降である必要があります。

手順

1. Data Studio ページに移動します。

   1. AnalyticDB for MySQL コンソールにログインします。コンソールの左上隅でリージョンを選択します。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。管理するクラスターを見つけて、クラスター ID をクリックします。

   2. 左側のナビゲーションウィンドウで、ジョブを開発する > Sql開発 を選択します。

   3. [SQLConsole] ウィンドウで、XIHE エンジンとインタラクティブタイプのリソースグループを選択します。

2. 外部データベースと Iceberg レイクストレージテーブルを作成します。

   1. データベースを作成します。

      CREATE DATABASE adb_external_db_iceberg 
      WITH DBPROPERTIES ('adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****');

      次の表にパラメーターを示します。

      パラメーター	説明
      adb_lake_bucket	Data Lake Storage テーブルデータのストレージ場所を指定します。 データベース作成文で Data Lake Storage を指定した場合、データベース内のすべてのテーブルが Data Lake Storage に格納されます。データベース内のすべてのテーブルを Data Lake Storage に格納したくない場合は、テーブル作成時にこのパラメーターを設定できます。

   2. Iceberg 外部テーブルを作成します。

      SET spark.adb.lakehouse.enabled=true;                      ----レイクストレージを有効にする
      CREATE TABLE adb_external_db_iceberg.test_iceberg_tbl (
        `id` int,
        `name` string,
        `age` int
      ) USING iceberg
      PARTITIONED BY (age)
      TBLPROPERTIES ( 'adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****' );

      上記の構文のパラメーターを次の表に示します。

      パラメーター

      説明

      adb_lake_bucket

      Data Lake Storage テーブルデータのストレージ場所を指定します。 データベース作成時に Data Lake Storage を指定した場合、データベース内のすべてのテーブルは Data Lake Storage に格納されます。テーブル作成時にこのパラメーターを再度指定する必要はありません。 データベース作成時に Data Lake Storage を指定しなかった場合、テーブル作成時にこのパラメーターを明示的に指定する必要があります。そうしないと、エラーが発生します。このパラメーターを指定すると、テーブルのデータは指定された Data Lake Storage に格納されます。 データベースとテーブルの両方の作成時に Data Lake Storage を明示的に指定した場合、テーブルのデータはテーブル作成時に指定された Data Lake Storage に格納されます。データベース内の他のテーブルは、データベース作成時に指定された Data Lake Storage に格納されます。

3. Iceberg データを書き込みます。

   SET spark.adb.lakehouse.enabled=true;                      ----レイクストレージを有効にする
   INSERT INTO adb_external_db_iceberg.test_iceberg_tbl VALUES (1, 'lisa', 10), (2, 'jams', 10);

4. (オプション) Iceberg データを削除します。

   SET spark.adb.lakehouse.enabled=true;                      ----レイクストレージを有効にする
   DELETE FROM adb_external_db_iceberg.test_iceberg_tbl WHERE id = 1;
   DELETE FROM adb_external_db_iceberg.test_iceberg_tbl WHERE age = 20;

5. Iceberg 外部テーブルデータをクエリします。

   SET spark.adb.lakehouse.enabled=true;                      ----レイクストレージを有効にする
   SELECT * FROM adb_external_db_iceberg.test_iceberg_tbl;

   戻り値:

   +---+----+---+
   |id |name|age|
   +---+----+---+
   |1  |anna|10 |
   |2  |jams|20 |
   +---+----+---+

6. (オプション) Iceberg 外部テーブルを削除します。

   次のステートメントを実行すると、AnalyticDB for MySQL 内の Iceberg 外部テーブルと OSS 内の Iceberg 外部テーブルデータの両方が削除されます。

   SET spark.adb.lakehouse.enabled=true;
   DROP TABLE adb_external_db_iceberg.test_iceberg_tbl;

前提条件

クラスターのカーネルバージョンが 3.2.5.3 以降である必要があります。

注意事項

DELETE 文を使用してレイクストレージテーブルから個々のレコードを削除することはサポートされていません。テーブル全体の削除のみがサポートされています。

手順

1. Data Studio ページに移動します。

   1. AnalyticDB for MySQL コンソールにログインします。コンソールの左上隅でリージョンを選択します。左側のナビゲーションウィンドウで、クラスターリスト をクリックします。管理するクラスターを見つけて、クラスター ID をクリックします。

   2. 左側のナビゲーションウィンドウで、ジョブを開発する > Sql開発 を選択します。

   3. [SQLConsole] ウィンドウで、XIHE エンジンと対話型リソースグループを選択します。

2. 外部データベースと Iceberg 外部テーブルを作成します。

   1. 外部データベースを作成します。

      CREATE EXTERNAL DATABASE test_db 
      WITH DBPROPERTIES ('adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****');

      パラメーター

      パラメーター	説明
      adb_lake_bucket	レイクストレージテーブルデータのストレージ場所を指定します。 データベース作成文でレイクストレージを指定した後、データベース内のすべてのテーブルはそのレイクストレージに格納されます。データベース内のすべてのテーブルをレイクストレージに格納したくない場合は、テーブル作成時にこのパラメーターを設定できます。

   2. Iceberg 外部テーブルを作成します。

      CREATE TABLE test_db.test_iceberg_tbl (
        `id` int,
        `name` string
      )PARTITIONED BY (age int) 
      STORED AS ICEBERG
      TBLPROPERTIES (
        'catalog_type' = 'ADB', 
        'adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****'
      );

      上記の構文のパラメーターを次の表に示します。

      パラメーター	説明
      catalog_type	カタログタイプを指定します。ADB に設定する必要があります。
      adb_lake_bucket	レイクストレージテーブルデータのストレージ場所を指定します。 データベース作成時にすでにレイクストレージを指定している場合、データベース内のすべてのテーブルはそのレイクストレージに格納され、テーブル作成時に再度指定する必要はありません。 データベース作成時にレイクストレージを指定しなかった場合、ここで明示的に指定する必要があります。そうしないと、テーブルの作成は失敗します。指定後、このテーブルのデータは指定されたレイクストレージに格納されます。 データベース作成時とテーブル作成時の両方でレイクストレージが明示的に指定されている場合、このテーブルのデータはテーブル作成時に指定されたレイクストレージに格納され、データベース内の他のテーブルはデータベース作成文で指定されたレイクストレージに格納されます。

3. Iceberg データを書き込みます。

   INSERT INTO test_db1.test_iceberg_tbl select 1, 'anna', 10;
   INSERT INTO test_db1.test_iceberg_tbl select 2, 'jams', 20;

4. Iceberg 外部テーブルデータをクエリします。

   SELECT * FROM adb_external_db_iceberg.test_iceberg_tbl;

   戻り値:

   +---+----+---+
   |id |name|age|
   +---+----+---+
   |1  |anna|10 |
   |2  |jams|20 |
   +---+----+---+

5. (オプション) Iceberg 外部テーブルを削除します。

   次のステートメントを実行すると、AnalyticDB for MySQL 内の Iceberg 外部テーブルと OSS 内の Iceberg 外部テーブルデータの両方が削除されます。

   SET spark.adb.lakehouse.enabled=true;
   DROP TABLE adb_external_db_iceberg.test_iceberg_tbl;