Kueri katalog Paimon di Hologres melalui database eksternal DLF - Hologres

Hologres V3.2 dan versi yang lebih baru mendukung akses data Paimon melalui Katalog DLF. Fitur ini menyediakan antarmuka terpadu dan meningkatkan efisiensi manajemen metadata.

Informasi latar belakang

Data Lake Formation (DLF) Alibaba Cloud adalah platform terkelola penuh dan terpadu untuk metadata, penyimpanan data, dan manajemen data. Platform ini menyediakan fitur seperti manajemen metadata, pengelolaan izin, serta optimisasi penyimpanan. DLF menyatukan metadata, format tabel data lake, dan penyimpanan data, sehingga secara signifikan menyederhanakan tugas O&M selama pembangunan dan pengelolaan data lake. Hal ini memungkinkan perusahaan untuk fokus pada inovasi bisnis dan wawasan data. Untuk informasi selengkapnya, lihat Apa Itu Data Lake Formation?.

Detail Fitur

Hologres V3.2 dan versi yang lebih baru mendukung fitur-fitur berikut:
- Menghubungkan ke Katalog DLF melalui External Database. Untuk informasi selengkapnya, lihat EXTERNAL DATABASE.
  - Membuat atau menghapus database dalam Katalog DLF menggunakan Create/Drop External Schema.
  - Membuat atau menghapus tabel dalam Katalog DLF menggunakan Create/Drop External Table.
  - Menampilkan semua database dan tabel dalam Katalog DLF.
- Menggunakan Dynamic Table untuk membaca data tabel Paimon dalam mode full dan incremental. Untuk informasi selengkapnya, lihat CREATE DYNAMIC TABLE.
- Menggunakan ANALYZE dan AUTO ANALYZE untuk mengumpulkan statistik foreign table. Hal ini membantu pengoptimal menghasilkan rencana kueri optimal. Untuk informasi selengkapnya, lihat ANALYZE dan AUTO ANALYZE.
- Pencerminan data tabel eksternal.
- TimeTravel: Menjalankan kueri snapshot historis tabel Paimon berdasarkan timestamp, versi, atau tag.
- Kueri branch: Menjalankan kueri data branch Paimon dan snapshot historis berdasarkan branch.
- Kueri tabel sistem Paimon, seperti Snapshots dan Tags.
Hologres V4.0 dan versi yang lebih baru mendukung berbagai operasi DML:
- Menulis ke tabel primary key Paimon dengan beberapa operasi konkuren. Fitur ini mendukung INSERT INTO dan INSERT OVERWRITE. Proses penulisan dioptimalkan untuk melakukan shuffle data berdasarkan bucket sebelum menulis, sehingga mengurangi pembentukan file kecil.
- Menyediakan mekanisme caching berbasis memori untuk mendukung penulisan ke tabel Paimon yang memerlukan caching. Contohnya termasuk tabel dengan Merge Engine bernilai First Row, tabel yang menghasilkan Changelog melalui mekanisme lookup, atau tabel dengan Deletion Vector diaktifkan.
- Mendukung operasi UPDATE dan DELETE pada tabel Paimon.
- Hologres V3.2.6 dan V4.0.6 serta versi yang lebih baru mendukung pembacaan data dari tag yang sesuai dengan snapshot Paimon yang telah kedaluwarsa.

Prasyarat

Layanan DLF V2.5 atau yang lebih baru telah diaktifkan dan Katalog DLF telah dibuat. Untuk informasi selengkapnya, lihat Otorisasi dan Aktivasi DLF dan Katalog data.

Catatan
Untuk informasi selengkapnya, lihat Titik Akhir Layanan.
Instans Hologres telah dibeli dan layanan akselerasi data lake telah diaktifkan. Untuk informasi selengkapnya, lihat Instans Hologres dan Akselerasi Data Lake untuk Akses OSS Menggunakan DLF.

Batasan

Akses layanan DLF hanya dapat dilakukan di wilayah yang sama.
Katalog DLF tidak dapat dibuat secara visual melalui fitur akselerasi data lake OSS di HoloWeb.
Hanya foreign table Paimon yang dipetakan melalui External Database yang mendukung kueri TimeTravel, kueri branch, dan pencermatan data.
Kueri TimeTravel pada tabel dengan evolusi skema tidak didukung.
Dynamic Table tidak mendukung kueri TimeTravel untuk tabel dan branch Paimon.
Mirroring tabel eksternal tidak mendukung tabel kunci utama Paimon.
Pembacaan data partisi default dari Paimon, seperti partisi dengan nilai kosong atau NULL, tidak didukung.
Instans replika read-only tidak mendukung akselerasi data lake.
Perintah TRUNCATE tidak dapat dijalankan pada foreign table. Sebagai gantinya, gunakan INSERT OVERWRITE untuk memasukkan data kosong.
Penulisan ke tabel bucketing dinamis Paimon tidak didukung. Ini adalah tabel Paimon yang dibuat tanpa menentukan parameter bucket atau dengan bucket = -1.
Operasi UPDATE hanya didukung pada tabel primary key Paimon dengan Merge Engine bernilai deduplicate atau partial-update. Pembaruan primary key tidak didukung.
Hanya operasi DELETE yang didukung pada tabel primary key Paimon dengan Merge Engine bernilai deduplicate atau partial-update (memerlukan pengaktifan properti partial-update.remove-record-on-delete).
Foreign table tidak mendukung transaksi DML campuran. Hanya operasi DML tunggal yang menerapkan protokol komit dua fase untuk memastikan atomisitas selama penulisan terdistribusi.

Memetakan Katalog DLF Menggunakan Database Eksternal

Buat External Database (Mode SLR)

Service-linked role (SLR) adalah jenis peran RAM yang entitas tepercayanya merupakan layanan Alibaba Cloud. SLR dirancang untuk mengelola akses otorisasi lintas berbagai layanan Alibaba Cloud. Dalam kebanyakan kasus, saat Anda menggunakan fitur tertentu, layanan Alibaba Cloud terkait secara otomatis membuat atau menghapus SLR. Anda tidak perlu membuat atau menghapus peran tersebut secara manual. Service-linked role menyederhanakan proses otorisasi layanan untuk mengakses layanan lain dan mengurangi risiko kesalahan operasi. Untuk informasi selengkapnya, lihat Service-linked Role.

Skenario

Mode SLR berlaku untuk skenario di mana Anda mengakses data External Database menggunakan identitas pengguna saat ini. Hologres secara default menggunakan SLR dan pass-through identitas untuk mencapai akses lintas produk cloud.

Prosedur

Untuk instans yang baru dibeli atau ditingkatkan ke Hologres V2.2 atau yang lebih baru, sistem secara otomatis membuat service-linked role. Anda tidak perlu membuatnya secara manual. Langkah ini dapat dilewati.

Catatan
Untuk instans Hologres yang menjalankan versi sebelum V2.2, gunakan halaman Otorisasi Cepat Resource Access Management untuk membuat service-linked role.

Hubungkan ke instans Hologres dan buat External Database.

CREATE EXTERNAL DATABASE EXT_DATABASE_NAME WITH
  catalog_type 'paimon',
  metastore_type 'dlf-rest',
  dlf_catalog 'DLF_CATALOG_NAME',
  comment 'dlf catalog';

Tampilkan skema dan tabel dalam External Database.

-- Kueri skema dalam External Database
SELECT * FROM hologres.hg_external_schemas('<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME'</span>);

-- Kueri tabel dalam skema
SELECT * FROM hologres.hg_external_tables ('<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME'</span>, '<span class="var-span" contenteditable="true" data-var="EXT_SCHEMA_NAME">EXT_SCHEMA_NAME'</span>);

Jalankan kueri data tabel.

SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

Buat External Database (Mode STS)

Alibaba Cloud Security Token Service (STS) adalah layanan yang dapat digunakan untuk mengelola kredensial sementara. Resource Access Management (RAM) menyediakan dua jenis identitas: RAM user dan RAM role. RAM role tidak memiliki kredensial identitas permanen. Sebagai gantinya, mereka dapat memperoleh kredensial identitas sementara dari STS yang memiliki periode validitas dan izin akses yang dapat dikustomisasi. Kredensial ini dikenal sebagai token Security Token Service (STS). Untuk informasi selengkapnya, lihat Apa itu STS.

Skenario

Mode STS berlaku untuk skenario yang melibatkan akses lintas akun dan skenario di mana akun kustom Hologres (akun BASIC) mengakses data External Database.

Prosedur

Login ke Konsol Resource Access Management (RAM), buat RAM role, dan berikan izin AliyunDLFFullAccess atau AliyunDLFReadOnlyAccess untuk akses DLF. Untuk informasi selengkapnya, lihat Buat RAM Role dan Berikan Izin.

Perbarui kebijakan kepercayaan untuk mengizinkan RAM role diasumsikan oleh layanan Alibaba Cloud tepercaya Hologres. Untuk informasi selengkapnya, lihat Ubah kebijakan kepercayaan RAM role.

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "hologres.aliyuncs.com"
        ]
      }
    }
  ],
  "Version": "1"
}

Login ke Konsol Data Lake Formation dan berikan izin akses untuk database dan tabel kepada RAM role dalam Katalog target.

Buat External Database di Hologres. Tentukan RAM role yang telah dibuat sebelumnya sebagai kebijakan autentikasi.

CREATE EXTERNAL DATABASE EXT_DATABASE_NAME WITH
  catalog_type 'paimon',
  metastore_type 'dlf-rest',
  dlf_catalog 'paimon_catalog',
  rolearn 'acs:ram::106380604****:role/***-ramrole',
  comment 'dlf catalog'
  ;

Buat USER MAPPING di Hologres untuk mengaitkan RAM user atau akun BASIC yang perlu mengakses Katalog DLF dengan RAM role.
```
CREATE USER MAPPING FOR "<RAM user | BASIC account>"
EXTERNAL DATABASE EXT_DATABASE_NAME
OPTIONS
(
   rolearn 'acs:ram::10638060***:role/***ramrole'
);
```
Catatan
- Untuk informasi selengkapnya tentang USER MAPPING, lihat CREATE USER MAPPING.
- Untuk informasi selengkapnya tentang cara membuat RAM user, lihat Buat RAM user.
- Untuk informasi selengkapnya tentang cara membuat akun BASIC, lihat Manajemen Pengguna.
Setelah login ke Konsol Hologres menggunakan RAM user atau menghubungkan ulang ke instans Hologres menggunakan akun BASIC, Anda dapat menjalankan kueri SQL berikut.
```
SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;
```

Untuk informasi selengkapnya tentang operasi terkait External Database, lihat EXTERNAL DATABASE.
Untuk informasi selengkapnya tentang operasi terkait External Schema, lihat EXTERNAL SCHEMA.
Untuk informasi selengkapnya tentang operasi External Table, lihat EXTERNAL TABLE.

Kumpulkan statistik tabel eksternal

Anda dapat menggunakan perintah ANALYZE dan AUTO ANALYZE untuk mengumpulkan statistik konten tabel dalam database Anda. Pengoptimal menggunakan statistik ini untuk menghasilkan rencana kueri optimal dan meningkatkan performa kueri. Untuk informasi selengkapnya, lihat ANALYZE dan AUTO ANALYZE.

-- Perbarui statistik untuk tabel. Secara default, perintah ini mengumpulkan statistik untuk semua kolom dalam tabel.
analyze EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

-- Perbarui statistik untuk kolom tertentu. Perintah ini mengambil sampel data lebih banyak daripada pembaruan seluruh tabel dan memberikan hasil yang lebih akurat. Gunakan perintah ini terutama untuk kolom yang muncul dalam kondisi filter.
analyze EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME(COLNAME, COLNAME);

-- Aktifkan Auto Analyze
ALTER EXTERNAL DATABASE EXT_DATABASE_NAME WITH enable_auto_analyze 'true';

Kueri TimeTravel

Mulai dari V3.2, Hologres mendukung kueri snapshot historis pada tabel Paimon berdasarkan timestamp, versi, atau tag, yang memungkinkan time travel untuk data. Hologres juga mendukung kueri tabel sistem Paimon Snapshots dan Tags untuk mengambil detail snapshot tabel target. Untuk informasi selengkapnya tentang tabel sistem, lihat Tabel Sistem Paimon.

Kueri Tabel Sistem Snapshots Paimon

SELECT * FROM hologres.hg_list_snapshots('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

Bidang-bidang dalam tabel sistem Snapshots sesuai dengan bidang tabel sistem Paimon sebagai berikut:

Kolom Tabel Sistem Snapshot	Tipe	Deskripsi	Bidang Tabel Sistem Paimon yang Sesuai
branch_name	TEXT	Nama branch.	branch_name
snapshot_id	TEXT	ID snapshot.	snapshot_id
schema_id	TEXT	ID skema tabel.	schema_id
commit_kind	TEXT	Jenis commit data tabel.	commit_kind
commit_time	TIMESTAMPTZ	Waktu commit.	commit_time
extend_info	TEXT（JSON）	Sisa properti tabel sistem Snapshots Paimon.	Sisa properti tabel sistem Snapshots Paimon

Anda juga dapat mengkueri tabel sistem Snapshots Paimon menggunakan fungsi hologres.hg_list_versions. Untuk kueri tabel Paimon, Version sesuai dengan Snapshot ID.

SELECT * FROM hologres.hg_list_versions('EXT_DATABASE_NAME.<span class="var-span" contenteditable="true" data-var="EXT_SCHEMA_NAME">EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span>);

Kueri Tabel Sistem Tag Paimon

SELECT * FROM hologres.hg_list_tags('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

Bidang-bidang dalam tabel sistem Tag sesuai dengan bidang tabel sistem Paimon sebagai berikut:

Bidang Tabel Sistem Tag	Tipe	Deskripsi	Bidang Tabel Sistem Paimon yang Sesuai
branch_name	TEXT	Nama cabang.	branch_name
tag_name	TEXT	Nama tag.	tag_name
snapshot_id	TEXT	ID Snapshot.	snapshot_id
schema_id	TEXT	ID skema tabel.	schema_id
commit_time	TIMESTAMPTZ	Waktu pengiriman	commit_time
extend_info	TEXT（JSON）	Sisa properti tabel sistem Tag Paimon.	Sisa properti tabel sistem Tag Paimon

Kueri Snapshot Historis Paimon Berdasarkan Timestamp

SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME FOR TIMESTAMP AS OF 'TIMESTAMP';

Kueri Snapshot Historis Paimon Berdasarkan Versi

Untuk tabel Paimon, Versi sesuai dengan Snapshot ID.

SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR VERSION AS OF '<span class="var-span" contenteditable="true" data-var="VERSION">VERSION'</span>;

Kueri Snapshot Historis Paimon Berdasarkan Tag

SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR TAG AS OF '<span class="var-span" contenteditable="true" data-var="TAG">TAG'</span>;

Branch Query

Mulai dari V3.2, Hologres mendukung kueri data dari branch tertentu tabel Paimon dan mendukung properti fallback branch. Untuk informasi selengkapnya tentang branch Paimon, lihat Kelola Branch.

Kueri Tabel Sistem Branch

SELECT * FROM hologres.hg_list_branches('EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME');

Bidang-bidang dalam tabel sistem Branch sesuai dengan bidang tabel sistem Paimon sebagai berikut:

Bidang	Tipe	Deskripsi	Bidang Tabel Sistem Paimon yang Sesuai
branch_name	TEXT	Nama branch.	branch_name
create_time	TIMESTAMPTZ	Waktu pembuatan branch.	create_time
extend_info	TEXT（JSON）	Sisa properti tabel sistem Branch Paimon.	Sisa properti tabel sistem Branch Paimon

Kueri Data Branch Tertentu

SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR branch AS OF '<span class="var-span" contenteditable="true" data-var="TAG">TAG'</span>;

Catatan

Jika properti scan.fallback-branch diatur pada tabel Paimon, ketika pekerjaan kueri membaca data dari branch saat ini dan partisi hilang, pembaca akan mencoba membaca data partisi tersebut dari branch fallback. Untuk informasi selengkapnya tentang branch fallback, lihat Kelola Branch.

Kueri Snapshot Historis Branch Tertentu

-- Kueri berdasarkan Timestamp
SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR branch AS OF '<span class="var-span" contenteditable="true" data-var="BRANCH_NAME">BRANCH_NAME'</span> TIMESTAMP AS OF '<span class="var-span" contenteditable="true" data-var="TIMESTAMP">TIMESTAMP'</span>;

-- Kueri berdasarkan Tag
SELECT * FROM '<span class="var-span" contenteditable="true" data-var="EXT_DATABASE_NAME">EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME'</span> FOR branch AS OF '<span class="var-span" contenteditable="true" data-var="BRANCH_NAME">BRANCH_NAME'</span> TAG AS '<span class="var-span" contenteditable="true" data-var="TAG_NAME">TAG_NAME'</span>;

Akselerasi Pencerminan Lake Table

Mulai dari V3.2, Hologres mendukung fitur pencermatan tabel data lake untuk mempercepat kueri data lake. Fitur ini mendukung pencermatan metadata dan data serta menyinkronkan perubahan dari sumber data eksternal ke Hologres secara near-real-time atau pada interval tertentu. Fitur ini juga mendukung pencermatan seluruh tabel dan pencermatan parsial tabel partisi. Anda dapat menggunakan parameter untuk mengontrol cakupan data pencermatan secara fleksibel. Untuk informasi selengkapnya, lihat Pencermatan Tabel Data Lake.

Konsumsi Tabel Paimon Menggunakan Foreign Table

Buat Foreign Server.

Untuk informasi selengkapnya tentang operasi Foreign Server, lihat Operasi Foreign Server Lainnya (Metode SQL).

Sintaksis DLF

Catatan

Sintaksis ini berlaku untuk layanan DLF V2.5 dan yang lebih baru.

Sintaksis SQL adalah sebagai berikut:

-- Membuat server asing.
CREATE SERVER IF NOT EXISTS SERVER_NAME FOREIGN DATA WRAPPER dlf_fdw OPTIONS (
    catalog_type 'paimon',
    metastore_type 'dlf-rest', 
    dlf_catalog 'DLF_CATALOG_NAME'
);

Sintaksis DLF 1.0

Catatan

Sintaksis ini berlaku untuk layanan DLF V1.0.

Sintaksis SQL adalah sebagai berikut:

-- Buat foreign server
CREATE SERVER IF NOT EXISTS SERVER_NAME FOREIGN DATA WRAPPER dlf_fdw OPTIONS (
  dlf_region '',
  dlf_endpoint 'dlf-share..aliyuncs.com',
  oss_endpoint 'oss-REGION_ID-internal.aliyuncs.com',
  dlf_catalog 'dlf_catalog_name'                 
);

Buat foreign table.

Gunakan metode IMPORT FOREIGN SCHEMA

Untuk informasi selengkapnya tentang cara menggunakan IMPORT FOREIGN SCHEMA, lihat IMPORT FOREIGN SCHEMA.

Buat foreign table menggunakan IMPORT FOREIGN SCHEMA

-- Buat foreign table menggunakan IMPORT FOREIGN SCHEMA
IMPORT FOREIGN SCHEMA DLF_DB_NAME
FROM SERVER SERVER_NAME 
INTO <holo+schema_name> 
options (if_table_exist 'update');

Buat foreign table dengan menentukan nama tabel

IMPORT FOREIGN SCHEMA DLF_DB_NAME
limit to (table_name[,....]) 
FROM SERVER SERVER_NAME 
into <holo+schema_name>
options (if_table_exist 'update');

Gunakan metode CREATE FOREIGN TABLE

Untuk informasi selengkapnya, lihat CREATE FOREIGN TABLE.

CREATE FOREIGN TABLE FOREIGN_TABLE_NAME
(
  { column_name data_type }
  [, ... ]
) 
SERVER SERVER_NAME
options
(
  schema_name 'DLF_DB_NAME',
  table_name 'DLF_TABLE_NAME'
);

Konsumsi Tabel Paimon Menggunakan Dynamic Table

Dynamic Table dapat secara otomatis memproses dan menyimpan data agregat dari satu atau beberapa tabel dasar dan mencakup strategi refresh data bawaan. Anda dapat mengonfigurasi strategi refresh data berbeda sesuai kebutuhan bisnis untuk mengaktifkan aliran data otomatis dari tabel dasar ke Dynamic Table guna memenuhi persyaratan seperti pengembangan terpadu, aliran data otomatis, dan pemrosesan tepat waktu. Mulai dari Hologres V3.0, foreign table MaxCompute dan foreign table DLF didukung sebagai tabel dasar untuk Dynamic Table. Untuk informasi selengkapnya, lihat Dynamic Table.

Refresh Penuh

CREATE DYNAMIC TABLE paimon_dt_table
WITH (
      auto_refresh_mode='full',
      freshness='3 minutes'
)AS SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

Penyegaran Inkremental

CREATE DYNAMIC TABLE paimon_dt_table_increamental
WITH (
      auto_refresh_mode='incremental',
      freshness='3 minutes'
)AS SELECT * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

Auto-Refresh

CREATE DYNAMIC TABLE paimon_dt_table_auto
WITH (
      auto_refresh_mode='auto',
      freshness='3 minutes'
)AS * FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME;

Operasi DML

INSERT INTO

-- Buat tabel primary key Paimon dan masukkan data menggunakan SQL Hologres

CREATE EXTERNAL TABLE  EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME (
id BIGINT,
customer_id BIGINT,
item TEXT,
amount FLOAT,
dt TEXT,
PRIMARY KEY (id)
)
WITH (
"table_format" = 'paimon',
"file_format" = 'orc',
"merge-engine" = 'deduplicate', -- Ini adalah contoh kebijakan merge. Anda dapat memodifikasinya sesuai kebutuhan.
"bucket" = '4' -- Ini adalah contoh jumlah bucket.
);

INSERT INTO EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME (id, customer_id, item, amount, dt) VALUES
(1, 1001, 'apple', 3.50, '2025-09-10'),
(2, 1002, 'banana', 2.00, '2025-09-10'),
(3, 1003, 'orange', 4.20, '2025-09-11');

INSERT OVERWRITE

-- Buat tabel append-only Paimon dan masukkan data menggunakan SQL Hologres

CREATE EXTERNAL TABLE EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME (
id BIGINT,
name TEXT,
amount FLOAT8,
dt TEXT
)
LOGICAL PARTITION BY LIST(dt)
WITH (
"table_format" = 'paimon',
"file_format" = 'parquet',
"merge-engine" = 'deduplicate', 
"bucket-key" = 'id',
"bucket" = '2'
);

INSERT OVERWRITE EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME(id, name, amount, dt) VALUES
(1, 'Alice', 100.50, '2025-09-01'),
(2, 'Bob', 200.00, '2025-09-01'),
(3, 'Carol', 150.75, '2025-09-02');

UPDATE

UPDATE EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME SET amount= 5 where id= 1;

DELETE

DELETE FROM EXT_DATABASE_NAME.EXT_SCHEMA_NAME.EXT_TABLE_NAME WHERE id = 2;