MaxCompute:Paimon harici tablo

Sözdizimi

Farklı formatlarda harici tablo oluşturma sözdizimi hakkında ayrıntılı bilgi için bkz. OSS harici tabloları.

Adım 1: Ön koşullar

1. Bir MaxCompute projesi oluşturdunuz.

2. Bir OSS paketi ve dizini hazırladınız. Daha fazla bilgi için bkz. Paket oluşturma ve Dizin yönetimi.

   Paketinizin MaxCompute projenizle aynı bölgede olduğundan emin olun.

3. İzinleri verin.

   1. OSS'e erişim iznine sahipsiniz. Bir OSS harici tablosuna Alibaba Cloud hesabı, RAM kullanıcı veya RAM rolü kullanarak erişebilirsiniz. İzin verme hakkında daha fazla bilgi için bkz. OSS için STS modu yetkilendirme.

   2. MaxCompute projesinde CreateTable iznine sahipsiniz. Tablo ile ilgili izinler hakkında daha fazla bilgi için bkz. MaxCompute izinleri.

Adım 2: Flink'te veriyi hazırlama

Bir Paimon katalog ve Paimon tablosu oluşturun, ardından tabloya veri ekleyin.

1. Bir Paimon dosya sistemi kataloğu oluşturma

   1. real-time compute for Apache Flink konsolu adresine giderek oturum açın ve sol üst köşeden bir bölge seçin.

   2. Hedef çalışma alanının adına tıklayın ve ardından sol gezinme bölmesinde Data Management seçeneğini belirleyin.

   3. catalog list sayfasında Create Catalog öğesine tıklayın. Create Catalog iletişim kutusunda Apache Paimon seçeneğini belirleyin, Next seçeneğine tıklayın ve aşağıdaki parametreleri yapılandırın:

      Parameter	Required	Description
      metastore	Yes	Meta depo türü. Bu örnekte filesystem seçeneğini belirleyin.
      catalog name	Yes	Özel bir katalog adı, örneğin paimon-catalog.
      warehouse	Yes	OSS'teki depo dizini. Bu örnekte dizin oss://paimon-fs/paimon-test/ şeklindedir.
      fs.oss.endpoint	Yes	OSS hizmetinin uç noktası. Örneğin, China (Hangzhou) bölgesi için uç nokta oss-cn-hangzhou-internal.aliyuncs.com şeklindedir.
      fs.oss.accessKeyId	Yes	OSS'e erişmek için kullanılan AccessKey ID.
      fs.oss.accessKeySecret	Yes	OSS'e erişmek için kullanılan AccessKey secret.

2. Bir Paimon tablosu oluşturma

   1. real-time compute for Apache Flink konsolu adresine giderek oturum açın ve sol üst köşeden bir bölge seçin.

   2. Hedef çalışma alanı adına tıklayın ve ardından sol gezinme bölmesinde Development > Data Query seçeneğini belirleyin.

   3. Query Script sekmesinde yeni bir sorgu betiği oluşturmak için simgesine tıklayın.

      Aşağıdaki komutları girin ve çalıştırın:

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. INSERT INTO ... VALUES ... ifadesini çalıştıranlar gibi otomatik olarak tamamlanan SQL işleri için aşağıdaki işlemleri gerçekleştirin:

   1. Hedef çalışma alanının adına tıklayın. Sol gezinme bölmesinde O&M > Deployments seçeneğini belirleyin.

   2. Deployments sayfasında hedef işe tıklayarak deployment details sayfasını açın.

   3. Parameters bölümünde Edit seçeneğine tıklayın. Ardından, Other Configuration bölümünde execution.checkpointing.checkpoints-after-tasks-finish.enabled: true değerini ayarlayın ve değişikliklerinizi kaydedin.

      Bir iş için çalışma zamanı parametrelerini yapılandırma hakkında daha fazla bilgi için bkz. İş dağıtım bilgilerini yapılandırma.

Adım 3: Paimon harici tablo oluşturma

Paimon harici tablo oluşturmak için MaxCompute'ta aşağıdaki SQL ifadesini çalıştırın:

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

Yukarıdaki ifadede table_path, Flink'te oluşturduğunuz Paimon tablosunun yoludur; örneğin paimon-fs/paimon-test/default.db/test_tbl. Bu yolu bulmak için aşağıdaki adımları uygulayın:

1. real-time compute for Apache Flink konsolu adresine giderek oturum açın ve sol üst köşeden bir bölge seçin.

2. Hedef çalışma alanının adına tıklayın ve ardından sol gezinme bölmesinde Data Management seçeneğini belirleyin.

3. Catalogs sayfasında hedef katalog altında default seçeneğine tıklayın. Varsayılan sayfada hedef tabloyu bulun ve Actions sütunundaki View seçeneğine tıklayın.

4. Table Schema sekmesinde, Properties bölümündeki path parametresinin değerini kopyalayın. table_path için oss:// ön eki olmadan yolu girin.

Adım 4: Bölüm verilerini yükleme

Oluşturduğunuz OSS harici tablosu bölümlenmiş bir tabloy ise bölümlerini yüklemeniz gerekir. Daha fazla bilgi için bkz. OSS harici tabloları.

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

Adım 5: Paimon harici tabloyu sorgulama

oss_extable_paimon_pt Paimon harici tablosunu sorgulamak için MaxCompute'ta aşağıdaki komutları çalıştırın.

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

Aşağıdaki sonuç döndürülür:

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Paimon harici tablo okunurken kSIGABRT hatası

• Hata mesajı:

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• Neden:

  Bu hata, JNI modunda bir TIMESTAMP_NTZ sütunu okuduğunuzda oluşur.

• Çözüm:

  Sorgunuzdan önce aşağıdaki komutu çalıştırarak JNI köprüsünü devre dışı bırakın: SET odps.sql.common.table.jni.disable.native=true;