：Tabel eksternal Apache Paimon

Langkah 1: Siapkan data di Realtime Compute for Apache Flink

Buat katalog Apache Paimon dan tabel Apache Paimon, serta sisipkan data ke dalam tabel. Langkah ini dapat dilewati jika tabel Apache Paimon dan data sudah tersedia di Realtime Compute for Apache Flink.

1. Masuk ke konsol Realtime Compute for Apache Flink dan buat katalog Apache Paimon. Untuk informasi lebih lanjut, lihat Buat Katalog Apache Paimon.

2. Buat tabel Apache Paimon. Untuk informasi lebih lanjut, lihat Kelola Katalog Apache Paimon.

   1. Di panel navigasi sisi kiri konsol fully managed Flink, klik Catalogs. Di panel Katalog, temukan katalog Apache Paimon yang Anda buat dan klik database default. Di halaman yang muncul, klik Create Table, seperti yang ditunjukkan pada gambar berikut.

      

   2. Di tab Built-in dari kotak dialog Create Table, klik Apache Paimon dan klik Berikutnya. Di langkah Buat Tabel, masukkan pernyataan pembuatan tabel berikut dan klik Confirm. Dalam contoh ini, tabel bernama test_tbl dibuat.

      CREATE TABLE `catalogname`.`default`.test_tbl (
          dt STRING,
          id BIGINT,
          data STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);

   3. Di halaman SQL Editor, buat draf SQL yang berisi pernyataan berikut, terapkan draf tersebut, dan jalankan penerapan untuk draf tersebut. Untuk informasi lebih lanjut tentang cara mengembangkan dan menjalankan draf SQL, lihat Kembangkan Draf SQL.

      INSERT INTO `catalogname`.`default`.test_tbl VALUES ('2023-04-21', 1, 'AAA'), ('2023-04-21', 2, 'BBB'), ('2023-04-22', 1, 'CCC'), ('2023-04-22', 2, 'DDD');

      Catatan

      • Pastikan versi mesin draf SQL adalah vvr-8.0.1-flink-1.17 atau yang lebih baru.

      • Jika penerapan SQL adalah penerapan streaming terbatas, Anda harus pergi ke halaman Deployments, klik Edit di pojok kanan atas bagian Parameters di tab Konfigurasi, dan tambahkan execution.checkpointing.checkpoints-after-tasks-finish.enabled: true ke bidang Other Configuration. Sebagai contoh, jika pernyataan INSERT INTO ... VALUES ... termasuk dalam penerapan SQL, penerapan tersebut adalah penerapan streaming terbatas. Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter runtime penerapan, lihat Konfigurasikan Penerapan.

Langkah 2: Unggah plugin Apache Paimon ke proyek MaxCompute Anda

Anda dapat menggunakan salah satu metode berikut untuk mengunggah plugin Apache Paimon ke proyek MaxCompute.

ADD JAR <path_to_paimon_maxcompute_connector.jar>;

Langkah 3: Buat tabel eksternal Apache Paimon di klien MaxCompute (odpscmd) atau dengan menggunakan alat yang dapat menjalankan pernyataan SQL MaxCompute

Buat tabel eksternal Apache Paimon di klien MaxCompute (odpscmd) atau dengan menggunakan alat yang dapat menjalankan pernyataan SQL MaxCompute. Dalam contoh ini, tabel eksternal bernama oss_extable_paimon_1pt dibuat.

CREATE EXTERNAL TABLE oss_extable_paimon_1pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
stored BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::124*********:role/aliyunodpsdefaultrole'
)
location 'oss://oss-cn-beijing-internal.aliyuncs.com/paimon_flink/test_db_y.db/test_tbl/'
USING 'paimon_maxcompute_connector.jar'
;

Langkah 4: Baca data dari tabel eksternal Apache Paimon di klien MaxCompute (odpscmd) atau dengan menggunakan alat yang dapat menjalankan pernyataan SQL MaxCompute

1. Jalankan perintah berikut di klien MaxCompute (odpscmd) atau alat lain yang dapat menjalankan SQL MaxCompute:

   SET odps.sql.common.table.planner.ext.hive.bridge = true;
   SET odps.sql.hive.compatible = true;

2. Jalankan perintah berikut untuk menanyakan data dari tabel oss_extable_paimon_1pt:

   SELECT * FROM oss_extable_paimon_1pt;

   Hasil berikut dikembalikan:

   +------------+------------+------------+
   | id         | data       | dt         |
   +------------+------------+------------+
   | 1          | AAA        | 2023-04-21 |
   | 2          | BBB        | 2023-04-21 |
   +------------+------------+------------+

   Catatan

   Jika informasi partisi tidak ditampilkan dalam keluaran perintah, Anda dapat menjalankan perintah berikut untuk menambahkan informasi partisi:

   msck repair table oss_extable_paimon_1pt add partitions;