MaxCompute:Tabel eksternal Hologres

Pertimbangan

Sintaks

Ketika membuat tabel eksternal, Anda harus menentukan StorageHandler dalam pernyataan DDL, serta mengonfigurasi string koneksi JDBC dan informasi autentikasi STS (atau mengaktifkan mode otorisasi peran terkait layanan) untuk mengakses sumber data Hologres.

CREATE EXTERNAL TABLE [IF NOT EXISTS] <table_name>(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
stored BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='<ram_arn>')
location '<jdbc:postgresql://<endpoint>:<port>/<database>?ApplicationName=MaxCompute&[currentSchema=<schema>&][useSSL={true|false}&]table=<holo_table_name>/>' 
tblproperties (
  'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
  'odps.federation.jdbc.target.db.type'='holo',
  'odps.federation.jdbc.colmapping'='<table_column1>:<source_column1>, <table_column2>:<source_column2>,...'
);

-- Buat tabel eksternal
CREATE EXTERNAL TABLE [IF NOT EXISTS]  <table_name>(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
LOCATION '<jdbc:postgresql://<endpoint>:<port>/<database>?ApplicationName=MaxCompute&[currentSchema=<schema>&][useSSL={true|false}&]table=<holo_table_name>/>' 
tblproperties (
  'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
  'odps.federation.jdbc.target.db.type'='holo',
  ['odps.federation.jdbc.colmapping'='<table_column1>:<source_column1>, <table_column2>:<source_column2>,...']
);

Parameter

Langkah 1: Siapkan data Hologres

Anda dapat melewati langkah ini jika sudah memiliki database, tabel, dan data uji Hologres.

Langkah 2: Buat tabel eksternal Hologres

Catatan

Contoh

1. Siapkan data. Di instans Hologres Anda, buat tabel uji dan masukkan data.

   CREATE TABLE test_multi_type_ppd (
     c_id INT NOT NULL,
     c_boolean BOOLEAN,
     c_int INT,
     c_bigint BIGINT,
     c_double DOUBLE precision,
     c_float REAL,
     c_string TEXT,
     c_date DATE,
     c_timestamp_tz TIMESTAMPTZ,
     c_timestamp_ntz TIMESTAMP
   )
   WITH (SEGMENT_KEY = 'c_id');
   -- Masukkan 10 baris data.
   INSERT INTO test_multi_type_ppd VALUES
   (1,  true,   10,  1000,   1.25,  1.5,  'alpha',   '2023-01-01', '2023-01-01 10:00:00+08', '2023-01-01 02:00:00'),
   (2,  false,  20,  2000,  -2.50,  2.5,  'beta',    '2023-01-02', '2023-01-02 10:00:00+08', '2023-01-02 02:00:00'),
   (3,  true,   30,  3000,   3.75, -3.5,  'gamma',   '2023-01-03', '2023-01-03 10:00:00+08', '2023-01-03 02:00:00'),
   (4,  false,  40,  4000,   4.00,  4.5,  'delta',   '2023-01-04', '2023-01-04 10:00:00+08', '2023-01-04 02:00:00'),
   (5,  true,   50,  5000,   5.50,  5.5,  'epsilon', '2023-01-05', '2023-01-05 10:00:00+08', '2023-01-05 02:00:00'),
   (6,  false,  60,  6000,   6.60,  6.0,  'zeta',    '2023-01-06', '2023-01-06 10:00:00+08', '2023-01-06 02:00:00'),
   (7,  true,   70,  7000,   7.70, -7.0,  'eta',     '2023-01-07', '2023-01-07 10:00:00+08', '2023-01-07 02:00:00'),
   (8,  false,  80,  8000,   8.80,  8.0,  'theta',   '2023-01-08', '2023-01-08 10:00:00+08', '2023-01-08 02:00:00'),
   (9,  true,   90,  9000,  -9.90,  9.0,  'iota',    '2023-01-09', '2023-01-09 10:00:00+08', '2023-01-09 02:00:00'),
   (10, false, 100, 10000,  10.10, 10.0,  'kappa',   '2023-01-10', '2023-01-10 10:00:00+08', '2023-01-10 02:00:00');
   SELECT * FROM test_multi_type_ppd;

2. Buat tabel eksternal Hologres di MaxCompute.

   CREATE EXTERNAL TABLE test_multi_type_ppd
   (
     c_id int,
     c_boolean boolean,
     c_int int,
     c_bigint bigint,
     c_double double,
     c_float float,
     c_string string,
     c_date date,
     c_timestamp_tz timestamp,
     c_timestamp_ntz timestamp_ntz
   )
   STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
   LOCATION 'jdbc:postgresql://<holo-endpoint>/<db>?currentSchema=public&table=test_multi_type_ppd'
   TBLPROPERTIES (
     'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver',
     'odps.federation.jdbc.target.db.type'='holo'
   );

3. Kueri tabel eksternal.

   -- Aktifkan baca langsung Hologres.
   SET odps.table.api.enable.holo.table=true;
   -- Atur mode PPD (off, on, atau debug).
   SET odps.external.holo.read.table.rules="{predicate_pushdown_mode:on}";
   -- Konfigurasi sistem tipe.
   SET odps.sql.type.system.odps2=true;
   SET odps.sql.decimal.odps2=true;
   -- Izinkan ekspresi diturunkan ke TableScan. Ini biasanya diaktifkan secara default.
   SET odps.use.builtin.function.input.range=true;
   -- set odps.mcqa.disable=true;
   SELECT * FROM test_multi_type_ppd WHERE c_id = 3;
   -- Kueri mengembalikan hasil berikut.
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   | c_id | c_boolean | c_int | c_bigint   | c_double   | c_float | c_string | c_date | c_timestamp_tz | c_timestamp_ntz |
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   | 3    | true      | 30    | 3000       | 3.75       | -3.5    | gamma    | 2023-01-03 | 2023-01-03 10:00:00 | 2023-01-03 02:00:00 |
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   -- Periksa bagian Summary di Logview. Informasi berikut ditampilkan:
   external holo tables:
   	**.default.test_multi_type_ppd:Optimized
     Holo-side PPD enabled -->   Filter pushdown applied successfully
     Snapshot Id: 56-1-100***
     With-filter file count: 2
     With-filter create snapshot duration: 19ms

Kesalahan ODPS-0130071 saat membaca langsung data Hologres

• Masalah

  Saat membaca data dari Hologres dalam mode baca langsung, pekerjaan gagal dengan kesalahan serupa ODPS-0130071 Failed to split to equal size...max count: 7777. Contohnya:

  ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: storage/table/src/input_splits_builder.cpp(195): StorageException: Failed to split to equal size, total size: 2143570729934, min size: 268435456, max size: 272629760, max count: 7777, split size: 275629513, split count: 7777

• Penyebab

  Saat MaxCompute membaca data dari Hologres, strategi pemisahan data defaultnya dapat menyebabkan jumlah instans mapper melebihi batas konkurensi 7.777.

  Catatan

  Batas ini mencegah pekerjaan dengan jumlah mapper berlebihan berjalan, yang melindungi stabilitas file dan koneksi jaringan Hologres.

• Solusi

  Anda dapat mengatasi kesalahan ini dengan mengatur parameter berikut.

  SET odps.external.holo.mapper.instances=10000; -- Tingkatkan batas konkurensi. Nilai maksimum adalah 10.000.
  SET odps.sql.mapper.split.size=512; -- Sesuaikan konkurensi pekerjaan. Nilai maksimum adalah 512 MB.

Pekerjaan SQL lambat pada tabel eksternal Hologres

• Masalah

  Kinerja lambat saat Anda menggunakan SDK untuk mencari data di tabel eksternal MaxCompute.

• Solusi

  Tabel eksternal berkinerja lambat karena hanya mendukung pemindaian tabel penuh. Untuk kinerja yang lebih baik, gunakan tabel internal MaxCompute sebagai gantinya.

Kesalahan saat nama kolom adalah kata kunci

• Masalah

  Jika nama kolom di tabel Hologres Anda adalah kata kunci, kueri mungkin gagal dengan kesalahan berikut tanpa konfigurasi khusus:

  ODPS-0123131:User defined function exception - SQLException in nextKeyValue

  Caused by: org.postgresql.util.PSQLException: ERROR: syntax error at or near ","

• Solusi

  Tambahkan parameter odps.federation.jdbc.colmapping untuk memetakan kolom tabel sumber Hologres ke kolom tabel eksternal Hologres.

  Sebagai contoh, jika tabel sumber Hologres berisi kata kunci "offset" sebagai nama kolom, tambahkan parameter 'odps.federation.jdbc.colmapping'='offset:"offset"' saat membuat tabel eksternal Hologres.

Kesalahan password authentication failed for user "mcslr$STS.******" dalam mode double-signature

• Masalah

  Saat pengguna RAM atau peran RAM membaca tabel eksternal Hologres menggunakan mode otorisasi peran terkait layanan (mode double-signature), pekerjaan mungkin gagal dengan kesalahan password authentication failed for user "mcslr$STS.******". Berikut contoh pesan kesalahan:

  ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: splitByCommonTable() failed, dataSourceId=[TableScan1], tableId=[*****.*****], location=[jdbc:postgresql://hgpostcn-cn-*****-cn-beijing-internal.hologres.aliyuncs.com:80/*****?ApplicationName=MaxCompute&currentSchema=public&useSSL=false&table=*****/], rootCause -> common/table/jni/utils/jni_helper.cpp(126): UnretryableException: Common table io jni exception - ExceptionType: com.aliyun.odps.hive.wrapper.thrift.RequestException
  Message: null
  StackTrace:
  RequestException(reason:java.lang.RuntimeException: java.lang.RuntimeException: java.lang.RuntimeException: org.postgresql.util.PSQLException: FATAL: password authentication failed for user "mcslr$STS.*********"

• Solusi

  Kesalahan ini menunjukkan bahwa pengguna tidak memiliki izin baca yang diperlukan untuk tabel di Hologres. Untuk mengatasi ini, login ke konsol Hologres dengan Akun Alibaba Cloud Anda atau akun administrator. Di konsol, buka Pusat Keamanan, tambahkan pengguna ke Manajemen Pengguna, dan berikan izin database yang diperlukan.

Kesalahan Holo-side PPD disabled --> The Holo snapshot PPD mode is enabled, but FAILED to push down the filter into Holo dalam mode baca langsung

• Pesan kesalahan

  Holo-side PPD disabled --> The Holo snapshot PPD mode is enabled, 
  but FAILED to push down the filter into Holo, 
  errorMsg[storage/table/src/holo/snapshot.cpp(319): 
  StorageException: Create/Get snapshot failed for table: test_multi_type_ppd partition:  
  Query:select holo_create_table_snapshot('public.test_multi_type_ppd', 259200, filter=>$$c_id = 3$$) with error ERROR:  
  internal error: Failed to build fragment dag desc: node type 65 is not supported

• Solusi

  Pastikan tabel internal Hologres Anda memenuhi persyaratan di Catatan penggunaan.