MaxCompute:Tabel eksternal Paimon

Struktur sintaksis

Untuk detail tentang sintaksis tabel eksternal dalam berbagai format, lihat Tabel eksternal OSS.

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>';

Parameter umum

Untuk informasi lebih lanjut tentang parameter umum, lihat Parameter sintaksis dasar.

Langkah 1: Prasyarat

1. Anda telah membuat project MaxCompute.

2. Anda telah menyiapkan bucket OSS dan direktori OSS. Untuk informasi lebih lanjut, lihat Buat bucket dan Kelola folder.

   Karena MaxCompute hanya tersedia di wilayah tertentu, masalah konektivitas cross-region dapat terjadi. Kami menyarankan menggunakan bucket OSS di wilayah yang sama dengan project MaxCompute Anda.

3. Otorisasi

   1. Anda memiliki izin untuk mengakses OSS. Akun Alibaba Cloud (akun utama), pengguna Resource Access Management (RAM), atau role RAM dapat mengakses tabel eksternal OSS. Untuk detail otorisasi, lihat Otorisasi mode STS untuk OSS.

   2. Anda memiliki izin CreateTable di project MaxCompute. Untuk detail tentang izin operasi tabel, lihat Izin MaxCompute.

Langkah 2: Siapkan data di Flink

Buat katalog Paimon dan tabel Paimon, lalu masukkan data ke dalam tabel seperti ditunjukkan pada contoh berikut.

1. Buat Katalog Filesystem Paimon

   1. Masuk ke Konsol Flink, dan pilih wilayah di pojok kiri atas.

   2. Klik nama ruang kerja target. Di panel navigasi sebelah kiri, pilih Catalogs .

   3. Pada halaman Catalog List , klik Create Catalog di sebelah kanan. Pada kotak dialog Create Catalog , pilih Apache Paimon, klik Next , dan konfigurasikan parameter berikut:

      Parameter	Wajib	Deskripsi
      metastore	Wajib.	Jenis metastore. Pada contoh ini, pilih filesystem.
      catalog name	Wajib	Nama katalog kustom, misalnya paimon-catalog.
      warehouse	Wajib	Direktori gudang data di OSS. Pada contoh ini, gunakan oss://paimon-fs/paimon-test/.
      fs.oss.endpoint	Wajib	Titik akhir OSS. Misalnya, titik akhir untuk wilayah China (Hangzhou) adalah oss-cn-hangzhou-internal.aliyuncs.com.
      fs.oss.accessKeyId	Wajib	AccessKey ID yang diperlukan untuk mengakses OSS.
      fs.oss.accessKeySecret	Wajib	AccessKey Secret yang diperlukan untuk mengakses OSS.

2. Buat tabel Paimon

   1. Masuk ke Konsol Flink, dan pilih wilayah di pojok kiri atas.

   2. Klik nama ruang kerja target, lalu pada panel navigasi di sebelah kiri, pilih Development > Scritps.

   3. Pada tab New Script, klik untuk membuat script query baru.

      Masukkan perintah berikut dan klik Run.

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. Jika pekerjaan SQL Anda dibatasi laju—misalnya, saat menjalankan pernyataan INSERT INTO ... VALUES ...—lakukan langkah berikut:

   1. Klik nama ruang kerja target. Di panel navigasi sebelah kiri, pilih O&M > Deployments.

   2. Pada halaman Deployments, klik nama pekerjaan target untuk membuka halaman Configuration-nya.

   3. Untuk detail tentang mengonfigurasi parameter waktu proses pekerjaan, lihat Konfigurasi informasi penerapan pekerjaan.

Langkah 3: Buat tabel eksternal Paimon di MaxCompute

Jalankan kode SQL berikut di MaxCompute untuk membuat tabel eksternal Paimon.

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

Pada kode di atas, table_path adalah path tabel Paimon yang dibuat di Flink, misalnya paimon-fs/paimon-test/default.db/test_tbl. Untuk mendapatkan path ini:

1. Masuk ke Konsol Flink, dan pilih wilayah di pojok kiri atas.

2. Klik nama ruang kerja target. Di panel navigasi sebelah kiri, pilih Catalogs .

Langkah 4: Muat data partition

Jika tabel eksternal OSS yang Anda buat memiliki partition, muat data partition secara terpisah. Untuk informasi lebih lanjut, lihat Sintaksis untuk memuat data partition untuk tabel eksternal OSS.

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

Langkah 5: Baca tabel eksternal Paimon dari MaxCompute

Jalankan perintah berikut di MaxCompute untuk menjalankan query pada tabel eksternal Paimon oss_extable_paimon_pt.

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

Hasilnya sebagai berikut:

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Error kSIGABRT saat membaca tabel eksternal Paimon

• Pesan error:

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• Penyebab:

  Error ini terjadi saat membaca data TIMESTAMP_NTZ dalam mode JNI.

• Solusi:

  Sebelum membaca dari tabel, nonaktifkan fitur Native dengan menjalankan perintah SET odps.sql.common.table.jni.disable.native=true;.