MaxCompute:Tabel eksternal Paimon

Sintaks

Untuk detail sintaks pembuatan tabel eksternal dalam berbagai format, lihat Tabel eksternal OSS.

CREATE EXTERNAL TABLE  [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>';

Parameter umum

Untuk informasi selengkapnya tentang parameter umum, lihat Parameter sintaks dasar.

Langkah 1: Prasyarat

1. Anda telah membuat proyek MaxCompute.

2. Anda telah menyiapkan bucket dan direktori OSS. Untuk informasi selengkapnya, lihat Buat bucket dan Kelola direktori.

   Pastikan bucket Anda berada di wilayah yang sama dengan proyek MaxCompute Anda.

3. Berikan izin.

   1. Anda memiliki izin untuk mengakses OSS. Anda dapat mengakses tabel eksternal OSS menggunakan Akun Alibaba Cloud, Pengguna RAM, atau Peran RAM. Untuk informasi selengkapnya tentang cara memberikan izin, lihat Otorisasi mode STS untuk OSS.

   2. Anda memiliki izin CreateTable di proyek MaxCompute. Untuk informasi selengkapnya tentang izin terkait tabel, lihat Izin MaxCompute.

Langkah 2: Siapkan data di Flink

Buat katalog Paimon dan tabel Paimon, lalu masukkan data ke dalam tabel tersebut.

1. Buat katalog filesystem Paimon

   1. Masuk ke Konsol Real-time Compute for Apache Flink dan pilih wilayah di pojok kiri atas.

   2. Klik nama ruang kerja target, lalu di panel navigasi sebelah kiri, pilih Data Management.

   3. Di halaman catalog list , klik Create Catalog . Di kotak dialog Create Catalog , pilih Apache Paimon, klik Next , lalu konfigurasikan parameter berikut:

      Parameter	Wajib	Deskripsi
      metastore	Ya	Jenis metastore. Dalam contoh ini, pilih filesystem.
      catalog name	Ya	Nama katalog kustom, misalnya paimon-catalog.
      warehouse	Ya	Direktori warehouse di OSS. Dalam contoh ini, direktorinya adalah oss://paimon-fs/paimon-test/.
      fs.oss.endpoint	Ya	Titik akhir layanan OSS. Misalnya, titik akhir untuk wilayah Tiongkok (Hangzhou) adalah oss-cn-hangzhou-internal.aliyuncs.com.
      fs.oss.accessKeyId	Ya	ID AccessKey yang digunakan untuk mengakses OSS.
      fs.oss.accessKeySecret	Ya	Rahasia AccessKey yang digunakan untuk mengakses OSS.

2. Buat tabel Paimon

   1. Masuk ke Konsol Real-time Compute for Apache Flink dan pilih wilayah di pojok kiri atas.

   2. Klik nama ruang kerja target, lalu di panel navigasi kiri, pilih Development > Data Query.

   3. Di tab Query Script, klik untuk membuat skrip kueri baru.

      Masukkan dan jalankan perintah berikut:

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. Untuk pekerjaan SQL yang selesai secara otomatis, seperti yang menjalankan pernyataan INSERT INTO ... VALUES ..., lakukan operasi berikut:

   1. Klik nama ruang kerja target. Di panel navigasi kiri, pilih O&M > Deployments.

   2. Di halaman Deployments, klik pekerjaan target untuk membuka halaman deployment details.

   3. Di bagian Parameters, klik Edit. Lalu, di bagian Other Configuration, atur execution.checkpointing.checkpoints-after-tasks-finish.enabled: true dan simpan perubahan Anda.

      Untuk informasi selengkapnya tentang cara mengonfigurasi parameter waktu proses untuk pekerjaan, lihat Konfigurasi informasi penerapan pekerjaan.

Langkah 3: Buat tabel eksternal Paimon

Jalankan pernyataan SQL berikut di MaxCompute untuk membuat tabel eksternal Paimon:

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

Dalam pernyataan di atas, table_path adalah path ke tabel Paimon yang Anda buat di Flink, misalnya paimon-fs/paimon-test/default.db/test_tbl. Untuk menemukan path ini, lakukan langkah-langkah berikut:

1. Masuk ke Konsol Real-time Compute for Apache Flink dan pilih wilayah di pojok kiri atas.

2. Klik nama ruang kerja target, lalu di panel navigasi sebelah kiri, pilih Data Management.

3. Di halaman Catalogs, di bawah katalog target, klik default. Di halaman default, temukan tabel target dan klik View di kolom Actions.

4. Di tab Table Schema, salin nilai parameter path dari bagian Properties. Untuk table_path, masukkan path tanpa awalan oss://.

Langkah 4: Muat data partisi

Jika tabel eksternal OSS yang Anda buat adalah tabel partisi, Anda harus memuat partisinya. Untuk informasi selengkapnya, lihat Tabel eksternal OSS.

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

Langkah 5: Kueri tabel eksternal Paimon

Jalankan perintah berikut di MaxCompute untuk mengkueri tabel eksternal Paimon oss_extable_paimon_pt.

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

Hasil berikut dikembalikan:

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Error kSIGABRT saat membaca tabel eksternal Paimon

• Pesan error:

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• Penyebab:

  Error ini terjadi saat Anda membaca kolom TIMESTAMP_NTZ dalam mode JNI.

• Solusi:

  Nonaktifkan jembatan JNI dengan menjalankan perintah berikut sebelum kueri Anda: SET odps.sql.common.table.jni.disable.native=true;