MaxCompute：Tabel eksternal Paimon

Tipe data yang didukung

Untuk informasi lebih lanjut tentang tipe data MaxCompute, lihat Tipe data (Versi 1.0) dan Tipe data (Versi 2.0).

Sintaks

Untuk informasi lebih lanjut tentang sintaks tabel eksternal dengan format berbeda, lihat Tabel eksternal OSS.

CREATE EXTERNAL TABLE  [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>';

Parameter umum

Untuk informasi lebih lanjut tentang parameter umum, lihat Parameter sintaks dasar.

Langkah 1: Prasyarat

1. Anda telah membuat proyek MaxCompute.

2. Siapkan bucket dan folder OSS. Untuk informasi lebih lanjut, lihat Buat bucket dan Kelola folder.

   MaxCompute hanya tersedia di beberapa wilayah. Untuk mencegah masalah konektivitas data, gunakan bucket OSS yang berada di wilayah yang sama dengan proyek MaxCompute Anda.

3. Otorisasi

   1. Anda harus memiliki izin untuk mengakses OSS. Anda dapat menggunakan Akun Alibaba Cloud, Pengguna RAM, atau Peran RAM untuk mengakses tabel eksternal OSS. Untuk informasi lebih lanjut tentang otorisasi, lihat Otorisasi STS untuk OSS.

   2. Anda harus memiliki izin `CreateTable` di proyek MaxCompute. Untuk informasi lebih lanjut tentang izin operasi tabel, lihat Izin MaxCompute.

Langkah 2: Siapkan data di Flink

Buat katalog Paimon dan tabel Paimon, lalu masukkan data ke dalam tabel tersebut. Contoh berikut menunjukkan caranya.

1. Buat Katalog Filesystem Paimon

   1. Masuk ke Konsol Flink, lalu pilih wilayah di pojok kiri atas.

   2. Klik nama ruang kerja target. Di panel navigasi sebelah kiri, pilih Catalogs .

   3. Pada halaman Catalog List , klik Create Catalog di sebelah kanan. Pada kotak dialog Create Catalog , pilih Apache Paimon, klik Next , lalu konfigurasikan parameter berikut:

      Parameter	Wajib	Deskripsi
      metastore	Wajib	Jenis metastore. Dalam contoh ini, pilih filesystem.
      catalog name	Wajib	Nama katalog kustom. Misalnya, paimon-catalog.
      warehouse	Wajib	Direktori gudang data yang ditentukan di OSS. Misalnya, oss://paimon-fs/paimon-test/.
      fs.oss.endpoint	Wajib	Titik akhir layanan OSS. Misalnya, titik akhir untuk wilayah Tiongkok (Hangzhou) adalah oss-cn-hangzhou-internal.aliyuncs.com.
      fs.oss.accessKeyId	Wajib	ID AccessKey yang diperlukan untuk mengakses layanan OSS.
      fs.oss.accessKeySecret	Wajib	Rahasia AccessKey yang diperlukan untuk mengakses layanan OSS.

2. Buat tabel Paimon

   1. Masuk ke Konsol Flink, lalu pilih wilayah di pojok kiri atas.

   2. Klik nama ruang kerja target, lalu di panel navigasi sebelah kiri, pilih Development > Scritps.

   3. Pada tab New Script, Anda dapat mengklik untuk membuat skrip kueri baru.

      Masukkan perintah berikut lalu klik Run.

      CREATE TABLE `paimon-catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. Jika pekerjaan SQL merupakan pekerjaan aliran bounded, misalnya pekerjaan yang mengeksekusi pernyataan INSERT INTO ... VALUES ..., lakukan langkah-langkah berikut:

   1. Klik nama ruang kerja target. Di panel navigasi sebelah kiri, pilih O&M > Deployments.

   2. Pada halaman Deployments, klik nama pekerjaan target untuk membuka halaman Configuration-nya.

   3. Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter waktu proses untuk pekerjaan, lihat Konfigurasi informasi penerapan pekerjaan.

Langkah 3: Buat tabel eksternal Paimon di MaxCompute

Di MaxCompute, jalankan pernyataan SQL berikut untuk membuat tabel eksternal Paimon MaxCompute.

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-<your-region>-internal.aliyuncs.com/<table_path>'
;

Pada pernyataan di atas, table_path adalah path ke tabel Paimon Anda di Flink, misalnya paimon-fs/paimon-test/default.db/test_tbl. Untuk mendapatkan path tersebut, lakukan langkah-langkah berikut:

1. Masuk ke Konsol Flink, lalu pilih wilayah di pojok kiri atas.

2. Klik nama ruang kerja target. Di panel navigasi sebelah kiri, pilih Catalogs .

Langkah 4: Impor data partisi

Jika tabel eksternal OSS yang Anda buat adalah tabel partisi, Anda juga harus mengimpor data partisinya. Untuk informasi lebih lanjut, lihat Sintaks untuk menambahkan data partisi ke tabel eksternal OSS.

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

Langkah 5: Baca tabel eksternal Paimon menggunakan MaxCompute

Di MaxCompute, jalankan pernyataan berikut untuk mengkueri tabel eksternal Paimon MaxCompute `oss_extable_paimon_pt`.

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

Hasil berikut dikembalikan:

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Mengapa terjadi error kSIGABRT saat saya membaca data dari tabel eksternal Paimon?

• Pesan error:

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• Penyebab:

  Error ini terjadi saat Anda membaca data tipe TIMESTAMP_NTZ menggunakan mode Java Native Interface (JNI).

• Solusi:

  Sebelum membaca data dari tabel, aktifkan switch native dengan menjalankan pernyataan berikut: SET odps.sql.common.table.jni.disable.native=true;.