AnalyticDB：Lake storage

Prasyarat

Versi kernel kluster harus 3.2.3.0 atau lebih baru.

Prosedur

1. Buka Data Development.

   1. Login ke AnalyticDB for MySQL console. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi kiri, klik Clusters. Temukan kluster yang ingin Anda kelola lalu klik ID kluster tersebut.

   2. Di panel navigasi kiri, pilih Job Development > SQL Development.

   3. Di jendela SQLConsole, pilih mesin XIHE dan kelompok sumber daya Interactive.

2. Buat database eksternal dan tabel lake storage Iceberg.

   1. Buat database.

      CREATE DATABASE adb_external_db_iceberg 
      WITH DBPROPERTIES ('adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****');

      Tabel berikut menjelaskan parameter tersebut:

      Parameter	Deskripsi
      adb_lake_bucket	Menentukan lokasi penyimpanan data tabel Data Lake Storage. Jika Anda menentukan Data Lake Storage dalam pernyataan pembuatan database, semua tabel dalam database tersebut akan disimpan di Data Lake Storage. Jika Anda tidak ingin semua tabel dalam database disimpan di Data Lake Storage, Anda dapat mengatur parameter ini saat membuat tabel.

   2. Buat tabel eksternal Iceberg.

      SET spark.adb.lakehouse.enabled=true;                      ----Aktifkan Data Lake Storage  
      CREATE TABLE adb_external_db_iceberg.test_iceberg_tbl (
        `id` int,
        `name` string,
        `age` int
      ) USING iceberg
      PARTITIONED BY (age)
      TBLPROPERTIES ( 'adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****' );

      Tabel berikut menjelaskan parameter-parameter tersebut.

      Parameter

      Deskripsi

      adb_lake_bucket

      Menentukan lokasi penyimpanan data tabel Data Lake Storage. Jika Anda telah menentukan Data Lake Storage saat membuat database, semua tabel dalam database tersebut akan disimpan di Data Lake Storage. Anda tidak perlu menentukan parameter ini lagi saat membuat tabel. Jika Anda tidak menentukan Data Lake Storage saat membuat database, Anda harus secara eksplisit menentukan parameter ini saat membuat tabel. Jika tidak, akan terjadi error. Setelah Anda menentukan parameter ini, data tabel akan disimpan di Data Lake Storage yang ditentukan. Jika Anda secara eksplisit menentukan Data Lake Storage baik saat membuat database maupun saat membuat tabel, data tabel akan disimpan di Data Lake Storage yang ditentukan saat membuat tabel. Tabel lain dalam database akan disimpan di Data Lake Storage yang ditentukan saat membuat database.

3. Tulis data ke tabel Iceberg.

   SET spark.adb.lakehouse.enabled=true;                      -- Aktifkan lake storage
   INSERT INTO adb_external_db_iceberg.test_iceberg_tbl VALUES (1, 'lisa', 10), (2, 'jams', 10);

4. (Opsional) Hapus data dari tabel Iceberg.

   SET spark.adb.lakehouse.enabled=true;                      ----Aktifkan Data Lake Storage
   DELETE FROM adb_external_db_iceberg.test_iceberg_tbl WHERE id = 1;
   DELETE FROM adb_external_db_iceberg.test_iceberg_tbl WHERE age = 20;

5. Kueri data dari tabel eksternal Iceberg.

   SET spark.adb.lakehouse.enabled=true;                      ----Aktifkan Data Lake Storage
   SELECT * FROM adb_external_db_iceberg.test_iceberg_tbl;

   Hasil berikut dikembalikan:

   +---+----+---+
   |id |name|age|
   +---+----+---+
   |1  |anna|10 |
   |2  |jams|20 |
   +---+----+---+

6. (Opsional) Hapus tabel eksternal Iceberg.

   Pernyataan berikut menghapus tabel eksternal Iceberg dari AnalyticDB for MySQL dan datanya dari OSS.

   SET spark.adb.lakehouse.enabled=true;
   DROP TABLE adb_external_db_iceberg.test_iceberg_tbl;

Prasyarat

Versi kernel kluster harus 3.2.5.3 atau lebih baru.

Catatan

Pernyataan DELETE tidak dapat digunakan untuk menghapus satu baris data dari tabel lake storage. Anda hanya dapat menghapus seluruh tabel.

Prosedur

1. Buka Data Development.

   1. Login ke AnalyticDB for MySQL console. Di pojok kiri atas konsol, pilih wilayah. Di panel navigasi kiri, klik Clusters. Temukan kluster yang ingin Anda kelola lalu klik ID kluster tersebut.

   2. Di panel navigasi kiri, pilih Job Development > SQL Development.

   3. Di jendela SQLConsole, pilih engine XIHE dan kelompok sumber daya Interaktif.

2. Buat database eksternal dan tabel eksternal Iceberg.

   1. Buat database eksternal.

      CREATE EXTERNAL DATABASE test_db 
      WITH DBPROPERTIES ('adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****');

      Tabel berikut menjelaskan parameter tersebut.

      Parameter	Deskripsi
      adb_lake_bucket	Menentukan lokasi penyimpanan data tabel lake storage. Jika Anda menentukan lake storage dalam pernyataan CREATE DATABASE, semua tabel dalam database tersebut akan disimpan di lake storage tersebut. Jika Anda tidak ingin semua tabel dalam database disimpan di lake storage, Anda dapat mengatur parameter ini saat membuat tabel.

   2. Buat tabel eksternal Iceberg.

      CREATE TABLE test_db.test_iceberg_tbl (
        `id` int,
        `name` string
      )PARTITIONED BY (age int) 
      STORED AS ICEBERG
      TBLPROPERTIES (
        'catalog_type' = 'ADB', 
        'adb_lake_bucket' = 'adb-lake-cn-shanghai-6gml****'
      );

      Tabel berikut menjelaskan parameter tersebut.

      Parameter	Deskripsi
      catalog_type	Menentukan jenis katalog. Atur parameter ini ke ADB.
      adb_lake_bucket	Menentukan lokasi penyimpanan data tabel lake storage. Jika Anda telah menentukan lake storage saat membuat database, semua tabel dalam database tersebut akan disimpan di lake storage tersebut. Anda tidak perlu menentukan parameter ini lagi saat membuat tabel. Jika Anda tidak menentukan lake storage saat membuat database, Anda harus secara eksplisit menentukan parameter ini. Jika tidak, akan terjadi error saat membuat tabel. Setelah Anda menentukan parameter ini, data tabel akan disimpan di lake storage yang ditentukan. Jika Anda secara eksplisit menentukan lake storage baik saat membuat database maupun saat membuat tabel, data tabel akan disimpan di lake storage yang ditentukan saat membuat tabel. Tabel lain dalam database akan disimpan di lake storage yang ditentukan dalam pernyataan CREATE DATABASE.

3. Tulis data ke tabel Iceberg.

   INSERT INTO test_db1.test_iceberg_tbl select 1, 'anna', 10;
   INSERT INTO test_db1.test_iceberg_tbl select 2, 'jams', 20;

4. Kueri data dari tabel eksternal Iceberg.

   SELECT * FROM adb_external_db_iceberg.test_iceberg_tbl;

   Hasil berikut dikembalikan:

   +---+----+---+
   |id |name|age|
   +---+----+---+
   |1  |anna|10 |
   |2  |jams|20 |
   +---+----+---+

5. (Opsional) Hapus tabel eksternal Iceberg.

   Pernyataan berikut menghapus tabel eksternal Iceberg dari AnalyticDB for MySQL dan datanya dari OSS.

   SET spark.adb.lakehouse.enabled=true;
   DROP TABLE adb_external_db_iceberg.test_iceberg_tbl;