:Paimon外部表

Langkah 1: Siapkan Data di Flink

Buat Catalog Paimon dan tabel Paimon, lalu masukkan data ke dalam tabel tersebut. Langkah-langkah contohnya sebagai berikut. Jika Anda sudah memiliki tabel dan data Paimon di Flink, Anda dapat melewati langkah ini.

1. Masuk ke Konsol Realtime Compute, lalu buat Catalog Paimon. Untuk langkah-langkahnya, lihat Create a catalog.

2. Buat tabel Paimon. Untuk langkah-langkahnya, lihat Manage tables.

   1. Pada halaman 元数据管理, pilih default di bawah Paimon Catalog yang telah dibuat, lalu klik 创建表.

   2. Di kotak dialog 添加表, pilih konektor Apache Paimon, masukkan pernyataan berikut, lalu klik 确定. Artikel ini menggunakan tabel test_tbl sebagai contoh.

      CREATE TABLE `catalogname`.`default`.test_tbl (
          dt STRING,
          id BIGINT,
          data STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);

   3. Pada halaman SQL 开发, buat job SQL yang berisi pernyataan berikut, lalu deploy dan jalankan job tersebut. Untuk informasi selengkapnya mengenai cara membuat dan menjalankan job SQL, lihat Job development overview.

      INSERT INTO `catalogname`.`default`.test_tbl VALUES ('2023-04-21', 1, 'AAA'), ('2023-04-21', 2, 'BBB'), ('2023-04-22', 1, 'CCC'), ('2023-04-22', 2, 'DDD');

      Catatan

      • Pastikan versi engine job SQL Anda adalah vvr-8.0.1-flink-1.17 atau yang lebih baru.

      • Jika job SQL Anda merupakan job bounded (misalnya menjalankan pernyataan INSERT INTO ... VALUES ...), Anda perlu mengedit Execution Parameters pada halaman 作业运维, lalu menambahkan konfigurasi berikut di bagian Other Configurations: execution.checkpointing.checkpoints-after-tasks-finish.enabled: true. Untuk informasi selengkapnya mengenai cara mengonfigurasi parameter runtime job, lihat Configure job deployment.

Langkah 2: Unggah Plugin Paimon ke Proyek MaxCompute

Anda dapat memilih salah satu cara berikut untuk mengunggah plugin Paimon ke Proyek MaxCompute yang telah dibuat.

ADD JAR <path_to_paimon_maxcompute_connector.jar>;

Langkah 3: Buat Tabel Eksternal Paimon melalui MaxCompute

Hubungkan ke MaxCompute dengan odpscmd atau alat lain yang dapat menjalankan SQL MaxCompute, lalu buat tabel eksternal Paimon MaxCompute. Artikel ini menggunakan oss_extable_paimon_1pt sebagai contoh.

CREATE EXTERNAL TABLE oss_extable_paimon_1pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH SERDEPROPERTIES (
    'odps.properties.rolearn'='acs:ram::124*********:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/paimon_flink/test_db_y.db/test_tbl/'
USING 'paimon_maxcompute_connector.jar'
;

Langkah 4: Baca Tabel Eksternal Paimon melalui MaxCompute

1. Gunakan klien lokal (odpscmd) atau alat lain yang dapat menjalankan SQL MaxCompute, lalu jalankan perintah berikut.

   SET odps.sql.common.table.planner.ext.hive.bridge = true;
   SET odps.sql.hive.compatible = true;

2. Jalankan perintah berikut untuk mengkueri tabel eksternal Paimon MaxCompute oss_extable_paimon_1pt.

   SELECT * FROM oss_extable_paimon_1pt;

   Contoh hasil yang dikembalikan sebagai berikut.

   +------------+------------+------------+
   | id         | data       | dt         |
   +------------+------------+------------+
   | 1          | AAA        | 2023-04-21 |
   | 2          | BBB        | 2023-04-21 |
   +------------+------------+------------+

   Catatan

   Jika hasil yang dikembalikan tidak menampilkan informasi partisi, Anda dapat menjalankan perintah berikut untuk menambahkan informasi partisi:

   MSCK REPAIR TABLE oss_extable_paimon_1pt ADD PARTITIONS;