MaxCompute:Hologres harici tablolar

RAM rolü modu

Tam kod örneği için bkz. Hologres harici tablo oluşturma (RAM rolü yetkilendirme modu).

CREATE EXTERNAL TABLE [IF NOT EXISTS] <table_name>(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
stored BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='<role_arn>')
location 'jdbc:postgresql://<endpoint>:<port>/<database>?
  ApplicationName=MaxCompute&[currentSchema=<schema>&]
  [useSSL={true|false}&]table=<holo_table_name>/' 
tblproperties (
  'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
  'odps.federation.jdbc.target.db.type'='holo',
-- When Hologres and MaxCompute column names differ, add the odps.federation.jdbc.colmapping parameter to map columns. 
-- This parameter can be omitted if column names are identical.
  ['odps.federation.jdbc.colmapping'='<table_column1>:<source_column1>, 
                                     <table_column2>:<source_column2>,...']
);

Hizmet bağlantılı rol modu

Tam kod örneği için bkz. Hologres harici tablo oluşturma (hizmet bağlantılı rol yetkilendirme modu).

Hizmet bağlantılı rol yetkilendirme modu, aynı RAM kullanıcısının manuel yetkilendirme gerektirmeden hem MaxCompute hem de Hologres'teki yetkili tablolara erişmesine olanak tanır. Bu mod ayrıca Hologres IP izin listesi özelliğini de destekler.

-- Create an external table
CREATE EXTERNAL TABLE [IF NOT EXISTS]  <table_name>(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
LOCATION 'jdbc:postgresql://<endpoint>:<port>/<database>?
  ApplicationName=MaxCompute&[currentSchema=<schema>&]
  [useSSL={true|false}&]table=<holo_table_name>/' 
tblproperties (
  'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
  'odps.federation.jdbc.target.db.type'='holo',
-- When Hologres and MaxCompute column names differ, add the odps.federation.jdbc.colmapping parameter to map columns. 
-- This parameter can be omitted if column names are identical.
   ['odps.federation.jdbc.colmapping'='<table_column1>:<source_column1>, 
                                      <table_column2>:<source_column2>,...']
);

RAM rolü

Bu modda harici tablonun oluşturucusu Hologres veri erişim izinlerine sahip bir RAM rolünü harici tablo tanımına yerleştirir. Diğer MaxCompute kullanıcılarına daha sonra bu harici tablo üzerinde izin verilebilir. Bir kullanıcı harici tabloya eriştiğinde sistem verileri eşlenen Hologres tablosundan almak için bağlı RAM rolünü kullanır.

Hologres, bir veritabanı örneğine hesaplar arası bir RAM rolü eklemeyi desteklemez. Bu nedenle RAM rolü modundaki Hologres yalnızca aynı hesaptaki RAM rollerini destekler. Benzer şekilde MaxCompute bir harici tablo veya harici şema kullanarak Hologres'e erişirken yalnızca aynı hesaptaki RAM rolleri desteklenir.

Hizmet bağlantılı rol

Bu modda Hologres verilerine erişmek için bir hizmet bağlantılı rol oluşturmanız gerekir. Yetkisiz erişimi önlemek amacıyla bu mod kullanıcının kimliğini kimlik doğrulama için Hologres'e iletir; dolayısıyla kullanıcının hem harici tablo hem de altta yatan Hologres tablosu üzerinde izinlere sahip olması gerekir.

Senaryo 1: Hologres Snatshot PPD

Hologres doğrudan okuma senaryolarında filtre ifadeleri, mantıksal bölüm tabloları için SQL WHERE yan tümcelerine dönüştürülür ve holo_create_table_snapshot() işlevinin filter parametresi olarak Hologres sunucusuna gönderilir. Bu sayede Hologres, anlık görüntü oluşturma sırasında sunucu tarafında eşleşmeyen dosyaları filtreleyerek MaxCompute'a döndürülen dosya sayısını azaltır ve veri aktarımını minimize eder.

Senaryo 2: Hologres JDBC PPD

Hologres doğrudan okuma devre dışı bırakıldığında (odps.table.api.enable.holo.table=false), sorgular JDBC yoluyla yürütülür. Bu durumda PPD, Hologres'e gönderilen JDBC SQL ifadesine WHERE yan tümcesini ekleyerek çalışır ve Hologres filtrelemeyi SQL düzeyinde gerçekleştirir. Bu durum, Hologres doğrudan okuma senaryolarındaki PPD'den farklıdır:

• Doğrudan okuma PPD: Dosyaları anlık görüntü düzeyinde filtreler

• JDBC PPD: Satırları SQL sorgu düzeyinde filtreler

Senaryo 3: ORC satır grubu sütun düzeyinde filtreleme

MaxCompute tarafında dosya düzeyinde filtreleme. Her ORC dosyası için bir SearchArgument oluşturulur ve ORC okuyucuya iletilir. ORC okuyucu, her stripe/satır grubunun tamamının atlanıp atlanmayacağını belirlemek için sütun istatistiklerini (min/max/count) kullanır.

• Dosya düzeyinde eleme MaxCompute tarafında gerçekleştirilir

• Hologres tarafında PPD parametresinin etkin olup olmadığına bağlıdır.

• Bölümlenmemiş tablolar, fiziksel bölümlenmiş tablolar ve mantıksal bölümlenmiş tabloların tümü desteklenir.

Hologres Snapshot PPD

1. Verileri hazırlayın. Hologres örneğinizde bir test tablosu oluşturun ve veri ekleyin.

   CREATE TABLE test_multi_type_ppd (
     c_id INT NOT NULL,
     c_boolean BOOLEAN,
     c_int INT,
     c_bigint BIGINT,
     c_double DOUBLE precision,
     c_float REAL,
     c_string TEXT,
     c_date DATE,
     c_timestamp_tz TIMESTAMPTZ,
     c_timestamp_ntz TIMESTAMP
   )
   WITH (SEGMENT_KEY = 'c_id');
   -- Insert 10 rows of data.
   INSERT INTO test_multi_type_ppd VALUES
   (1,  true,   10,  1000,   1.25,  1.5,  'alpha',   '2023-01-01', '2023-01-01 10:00:00+08', '2023-01-01 02:00:00'),
   (2,  false,  20,  2000,  -2.50,  2.5,  'beta',    '2023-01-02', '2023-01-02 10:00:00+08', '2023-01-02 02:00:00'),
   (3,  true,   30,  3000,   3.75, -3.5,  'gamma',   '2023-01-03', '2023-01-03 10:00:00+08', '2023-01-03 02:00:00'),
   (4,  false,  40,  4000,   4.00,  4.5,  'delta',   '2023-01-04', '2023-01-04 10:00:00+08', '2023-01-04 02:00:00'),
   (5,  true,   50,  5000,   5.50,  5.5,  'epsilon', '2023-01-05', '2023-01-05 10:00:00+08', '2023-01-05 02:00:00'),
   (6,  false,  60,  6000,   6.60,  6.0,  'zeta',    '2023-01-06', '2023-01-06 10:00:00+08', '2023-01-06 02:00:00'),
   (7,  true,   70,  7000,   7.70, -7.0,  'eta',     '2023-01-07', '2023-01-07 10:00:00+08', '2023-01-07 02:00:00'),
   (8,  false,  80,  8000,   8.80,  8.0,  'theta',   '2023-01-08', '2023-01-08 10:00:00+08', '2023-01-08 02:00:00'),
   (9,  true,   90,  9000,  -9.90,  9.0,  'iota',    '2023-01-09', '2023-01-09 10:00:00+08', '2023-01-09 02:00:00'),
   (10, false, 100, 10000,  10.10, 10.0,  'kappa',   '2023-01-10', '2023-01-10 10:00:00+08', '2023-01-10 02:00:00');
   SELECT * FROM test_multi_type_ppd;

2. MaxCompute'ta bir Hologres harici tablosu oluşturun.

   CREATE EXTERNAL TABLE test_multi_type_ppd
   (
     c_id int,
     c_boolean boolean,
     c_int int,
     c_bigint bigint,
     c_double double,
     c_float float,
     c_string string,
     c_date date,
     c_timestamp_tz timestamp,
     c_timestamp_ntz timestamp_ntz
   )
   STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
   WITH serdeproperties ('odps.properties.rolearn'='acs:ram::139****:role/<role name>')
   LOCATION 'jdbc:postgresql://<holo-endpoint>/<db>?currentSchema=public&table=test_multi_type_ppd'
   TBLPROPERTIES (
     'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver',
     'odps.federation.jdbc.target.db.type'='holo'
   );

3. Harici tabloyu sorgulayın.

   -- Enable Hologres direct read.
   SET odps.table.api.enable.holo.table=true;
   -- Set the PPD mode (off, on, or debug).
   SET odps.external.holo.read.table.rules="{predicate_pushdown_mode:on}";
   -- Configure the type system.
   SET odps.sql.type.system.odps2=true;
   SET odps.sql.decimal.odps2=true;
   -- Allow expressions to be pushed down to TableScan. This is typically enabled by default.
   SET odps.use.builtin.function.input.range=true;
   -- set odps.mcqa.disable=true;
   SELECT * FROM test_multi_type_ppd WHERE c_id = 3;
   -- The query returns the following result.
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   | c_id | c_boolean | c_int | c_bigint   | c_double   | c_float | c_string | c_date | c_timestamp_tz | c_timestamp_ntz |
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   | 3    | true      | 30    | 3000       | 3.75       | -3.5    | gamma    | 2023-01-03 | 2023-01-03 10:00:00 | 2023-01-03 02:00:00 |
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   -- Check the Summary section in Logview. The following information is displayed:
   external holo tables:
   	**.default.test_multi_type_ppd:Optimized
     Holo-side PPD enabled -->   Filter pushdown applied successfully
     Snapshot Id: 56-1-100***
     With-filter file count: 2
     With-filter create snapshot duration: 19ms

Hologres JDBC PPD

1. Verileri hazırlayın. Hologres örneğinizde bir test tablosu oluşturun ve veri ekleyin.

   CREATE TABLE test_multi_type_ppd (
     c_id INT NOT NULL,
     c_boolean BOOLEAN,
     c_int INT,
     c_bigint BIGINT,
     c_double DOUBLE precision,
     c_float REAL,
     c_string TEXT,
     c_date DATE,
     c_timestamp_tz TIMESTAMPTZ,
     c_timestamp_ntz TIMESTAMP
   )
   WITH (SEGMENT_KEY = 'c_id');
   -- Insert 10 rows of data.
   INSERT INTO test_multi_type_ppd VALUES
   (1,  true,   10,  1000,   1.25,  1.5,  'alpha',   '2023-01-01', '2023-01-01 10:00:00+08', '2023-01-01 02:00:00'),
   (2,  false,  20,  2000,  -2.50,  2.5,  'beta',    '2023-01-02', '2023-01-02 10:00:00+08', '2023-01-02 02:00:00'),
   (3,  true,   30,  3000,   3.75, -3.5,  'gamma',   '2023-01-03', '2023-01-03 10:00:00+08', '2023-01-03 02:00:00'),
   (4,  false,  40,  4000,   4.00,  4.5,  'delta',   '2023-01-04', '2023-01-04 10:00:00+08', '2023-01-04 02:00:00'),
   (5,  true,   50,  5000,   5.50,  5.5,  'epsilon', '2023-01-05', '2023-01-05 10:00:00+08', '2023-01-05 02:00:00'),
   (6,  false,  60,  6000,   6.60,  6.0,  'zeta',    '2023-01-06', '2023-01-06 10:00:00+08', '2023-01-06 02:00:00'),
   (7,  true,   70,  7000,   7.70, -7.0,  'eta',     '2023-01-07', '2023-01-07 10:00:00+08', '2023-01-07 02:00:00'),
   (8,  false,  80,  8000,   8.80,  8.0,  'theta',   '2023-01-08', '2023-01-08 10:00:00+08', '2023-01-08 02:00:00'),
   (9,  true,   90,  9000,  -9.90,  9.0,  'iota',    '2023-01-09', '2023-01-09 10:00:00+08', '2023-01-09 02:00:00'),
   (10, false, 100, 10000,  10.10, 10.0,  'kappa',   '2023-01-10', '2023-01-10 10:00:00+08', '2023-01-10 02:00:00');
   SELECT * FROM test_multi_type_ppd;

2. MaxCompute'ta bir Hologres harici tablosu oluşturun.

   CREATE EXTERNAL TABLE test_multi_type_ppd
   (
     c_id int,
     c_boolean boolean,
     c_int int,
     c_bigint bigint,
     c_double double,
     c_float float,
     c_string string,
     c_date date,
     c_timestamp_tz timestamp,
     c_timestamp_ntz timestamp_ntz
   )
   STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
   WITH serdeproperties (
     'odps.properties.rolearn'='acs:ram::122**79014:role/<role name>')
   LOCATION 'jdbc:postgresql://hgprecn-cn-oew210ut****-cn-hangzhou-internal.hologres.aliyuncs.com:80/<holo database name>?ApplicationName=MaxCompute&currentSchema=public&useSSL=true&table=<table name>/'
   TBLPROPERTIES (
     'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver',
     'odps.federation.jdbc.target.db.type'='holo'
   );

3. Harici tabloyu sorgulayın.

   -- Disable Hologres direct read and use the JDBC path.
   SET odps.table.api.enable.holo.table=false;
   SET odps.table.api.enable.holo.table.auto.fallback=false;
   
   -- Enable JDBC PPD.
   SET odps.external.hive.scan.ppd.enabled=true;
   
   -- Allow expressions to be pushed down to TableScan. 
   -- This is enabled by default in most cases.
   SET odps.use.builtin.function.input.range=true;
   
   -- Enable common table.
   SET odps.sql.common.table.planner.ext.hive.bridge=true;
   SET odps.sql.common.table.planner.ext.hive.bridge.v2=true;
   
   -- After PPD is enabled, TableScan reads only one record.
   SELECT * FROM test_multi_type_ppd WHERE c_id = 3;
   
   -- The query result is as follows:
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   | c_id | c_boolean | c_int | c_bigint   | c_double   | c_float | c_string | c_date | c_timestamp_tz | c_timestamp_ntz |
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   | 3    | true      | 30    | 3000       | 3.75       | -3.5    | gamma    | 2023-01-03 | 2023-01-03 10:00:00 | 2023-01-03 02:00:00 |
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   
   -- Check the stdout details of the instance in Logview. The following messages are displayed:
   [2026-07-22 10:02:41] Volcano instance executor [MainThreadID: 222960]
   Jdbc HoloRecordReader query conditions: (c_id = 3)
   JDBC HoloRecordReader: Query predicate pushdown succeeded.
   JdbcShardRecordReader getSelectQuery: SELECT c_id, c_boolean, c_int, c_bigint, c_double, c_float, c_string, c_date, c_timestamp_tz, c_timestamp_ntz FROM test_multi_type_ppd0721 AS test_multi_type_ppd0721 WHERE ( hg_shard_id = 9) AND ((c_id = 3))

ORC satır grubu sütun düzeyinde filtreleme

Bu yöntem, büyük veri hacmine sahip senaryolar için uygundur. ORC'deki her satır grubu 10.000 satır içerdiğinden, veri hacmi çok küçük olduğunda filtreleme etkisi belirgin değildir.

1. Verileri hazırlayın. Hologres örneğinde bir test tablosu oluşturun.

   DROP TABLE IF EXISTS test_2m_data;
   
   BEGIN;
   CREATE TABLE test_2m_data (
       id   INT    NOT NULL,
       name TEXT   NOT NULL
   );
   
   -- Set a distribution key to avoid data skew and improve batch write performance.
   CALL set_table_property('test_2m_data', 'distribution_key', 'id');
   COMMIT;
   
   INSERT INTO test_2m_data (id, name)
   SELECT 
       g AS id,
       'user_' || g AS name
   FROM generate_series(1, 2000000) AS g;
   
   SELECT COUNT(*) FROM test_2m_data;

2. MaxCompute'ta bir Hologres harici tablosu oluşturun.

   CREATE EXTERNAL TABLE ext_holo_test_2m_data
   (
       id          INT  ,
       name        STRING 
   )
   STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
   WITH serdeproperties (
     'odps.properties.rolearn'='acs:ram::*****:role/<role_name>')
   LOCATION 'jdbc:postgresql://hgpostcn-cn-2bj4lnv16008-cn-<region>-internal.hologres.aliyuncs.com:80/<holo_database>?currentSchema=public&table=test_2m_data'
   TBLPROPERTIES (
     'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver',
     'odps.federation.jdbc.target.db.type'='holo'
   );

3. Harici tablo verilerini sorgulayın

   -- Enable Hologres direct read
   SET odps.table.api.enable.holo.table=true;
   -- Enable PPD
   SET odps.external.holo.use.predicate.pushdown=true;
   -- Set the PPD mode
   SET odps.external.holo.read.table.rules="{predicate_pushdown_mode:on}";
   SELECT * FROM ext_holo_test_2m_data where id>100 and id<100000;

   LogView'deki örneğin stdout ayrıntılarını kontrol edin. Aşağıdakiler gerçekleşirse filtreleme başarılı olur:

   • TableScan1'de IOCount ve IOLatencyPercentiles görünür.

   • TableScan1'de ReadRowCount, RequestedRowCount değerinden küçüktür.

   37  Filter1                                          99899           0                99998998
       {"PMS":{"S":24584}}
   38  GlobalInit                                       0               769              0
       {"CallBack":{"T":1},"CodeGenDCE":{"T":6393},"CodeGenMajorPass":{"T":13954},"CreateCursor":{"T":41350},
       "CreateOperator":{"T":309351},"JitFunction":{"T":13027},"LoadAndParseIR":{"T":38273},"OpenShuffleRW":{"T":30},
       "parseTableScanInfo":{"T":4551}}
   39  TableScan1                                       163840          1634             100269
       {"PMS":{"S":20480},"actualSplitFileCount":0,"actualSplitFileStats":{"avg":0,"max":0,"min":9223372036854775807},
       "plannedSplitFileCount":0,"plannedSplitFileStats":{"avg":0,"max":0,"min":9223372036854775807}}
       {"DecodingCount":320,"DecodingInBytes":147068,"DecodingLatencyUs":1224,"DecodingOutBytes":1310720,
       "DeltaFileInclusiveLatencyUs":76,"IOBlockingLatencyUs":424255,"IOCount":60,"IOLatencyPercentiles":
       "{\"Count\":\"60\",\"Percentiles\":\"[[0,2835], [0.5,6183], [0.9,6183], [0.95,6183], [0.99,6183], [0.999,6752], [1,
       15206]]\",\"Total\":\"495889\"}","IOReadBytes":27988440,"MaxMemoryUsageBytes":1936240,"ReadRawSize":2346495,
       "ReadRowCount":163840,"ReaderCount":1,"ReaderInclusiveLatencyUs":447950,"RequestedRowCount":2000000,
       "StringDirectReadOutBytes":169113,"Type":"OrcReader","VectorBatchConversionLatencyUs":1636}
   40  TableScan1@CommonTableReader                     0               0                nan
       {"PMS":{"S":19456}}
   41  fuxi                                             0               0                nan
       {"PMS":{"S":0}}
   42  inst                                             0               0                nan
       {"APMS":{"S":0},"PMFM":{"S":1073741824},"PMS":{"S":3246003}}

   Yukarıdaki çıktıda, TableScan1 operatörü IOCount ve IOLatencyPercentiles alanlarını içerir ve ReadRowCount (163840) değeri RequestedRowCount (2000000) değerinden küçüktür; bu da yüklem itelemesi filtrelemenin başarılı olduğunu gösterir.