MaxCompute:Hologres 外部テーブル

注意事項

構文

外部テーブルを作成する際には、DDL 文で StorageHandler を指定し、Hologres データソースにアクセスするための JDBC 接続文字列と STS 認証情報 (またはサービスリンクロール権限付与モードを有効にする) を設定する必要があります。

CREATE EXTERNAL TABLE [IF NOT EXISTS] <table_name>(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
stored BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='<ram_arn>')
location '<jdbc:postgresql://<endpoint>:<port>/<database>?ApplicationName=MaxCompute&[currentSchema=<schema>&][useSSL={true|false}&]table=<holo_table_name>/>' 
tblproperties (
  'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
  'odps.federation.jdbc.target.db.type'='holo',
  'odps.federation.jdbc.colmapping'='<table_column1>:<source_column1>, <table_column2>:<source_column2>,...'
);

-- 外部テーブルの作成
CREATE EXTERNAL TABLE [IF NOT EXISTS]  <table_name>(
  <col1_name> <data_type>,
  <col2_name> <data_type>,
  ......
)
STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
LOCATION '<jdbc:postgresql://<endpoint>:<port>/<database>?ApplicationName=MaxCompute&[currentSchema=<schema>&][useSSL={true|false}&]table=<holo_table_name>/>' 
tblproperties (
  'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver', 
  'odps.federation.jdbc.target.db.type'='holo',
  ['odps.federation.jdbc.colmapping'='<table_column1>:<source_column1>, <table_column2>:<source_column2>,...']
);

パラメーター

ステップ 1：Hologres データの準備

Hologres データベース、テーブル、およびテストデータがある場合は、このステップをスキップできます。

ステップ 2：Hologres 外部テーブルの作成

注意事項

例

1. データを準備します。ご利用の Hologres インスタンスで、テストテーブルを作成し、データを挿入します。

   CREATE TABLE test_multi_type_ppd (
     c_id INT NOT NULL,
     c_boolean BOOLEAN,
     c_int INT,
     c_bigint BIGINT,
     c_double DOUBLE precision,
     c_float REAL,
     c_string TEXT,
     c_date DATE,
     c_timestamp_tz TIMESTAMPTZ,
     c_timestamp_ntz TIMESTAMP
   )
   WITH (SEGMENT_KEY = 'c_id');
   -- 10行のデータを挿入します。
   INSERT INTO test_multi_type_ppd VALUES
   (1,  true,   10,  1000,   1.25,  1.5,  'alpha',   '2023-01-01', '2023-01-01 10:00:00+08', '2023-01-01 02:00:00'),
   (2,  false,  20,  2000,  -2.50,  2.5,  'beta',    '2023-01-02', '2023-01-02 10:00:00+08', '2023-01-02 02:00:00'),
   (3,  true,   30,  3000,   3.75, -3.5,  'gamma',   '2023-01-03', '2023-01-03 10:00:00+08', '2023-01-03 02:00:00'),
   (4,  false,  40,  4000,   4.00,  4.5,  'delta',   '2023-01-04', '2023-01-04 10:00:00+08', '2023-01-04 02:00:00'),
   (5,  true,   50,  5000,   5.50,  5.5,  'epsilon', '2023-01-05', '2023-01-05 10:00:00+08', '2023-01-05 02:00:00'),
   (6,  false,  60,  6000,   6.60,  6.0,  'zeta',    '2023-01-06', '2023-01-06 10:00:00+08', '2023-01-06 02:00:00'),
   (7,  true,   70,  7000,   7.70, -7.0,  'eta',     '2023-01-07', '2023-01-07 10:00:00+08', '2023-01-07 02:00:00'),
   (8,  false,  80,  8000,   8.80,  8.0,  'theta',   '2023-01-08', '2023-01-08 10:00:00+08', '2023-01-08 02:00:00'),
   (9,  true,   90,  9000,  -9.90,  9.0,  'iota',    '2023-01-09', '2023-01-09 10:00:00+08', '2023-01-09 02:00:00'),
   (10, false, 100, 10000,  10.10, 10.0,  'kappa',   '2023-01-10', '2023-01-10 10:00:00+08', '2023-01-10 02:00:00');
   SELECT * FROM test_multi_type_ppd;

2. MaxCompute で Hologres 外部テーブルを作成します。

   CREATE EXTERNAL TABLE test_multi_type_ppd
   (
     c_id int,
     c_boolean boolean,
     c_int int,
     c_bigint bigint,
     c_double double,
     c_float float,
     c_string string,
     c_date date,
     c_timestamp_tz timestamp,
     c_timestamp_ntz timestamp_ntz
   )
   STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
   LOCATION 'jdbc:postgresql://<holo-endpoint>/<db>?currentSchema=public&table=test_multi_type_ppd'
   TBLPROPERTIES (
     'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver',
     'odps.federation.jdbc.target.db.type'='holo'
   );

3. 外部テーブルをクエリします。

   -- Hologres 直接読み取りを有効にします。
   SET odps.table.api.enable.holo.table=true;
   -- PPD モード (off、on、または debug) を設定します。
   SET odps.external.holo.read.table.rules="{predicate_pushdown_mode:on}";
   -- 型システムを設定します。
   SET odps.sql.type.system.odps2=true;
   SET odps.sql.decimal.odps2=true;
   -- 式を TableScan にプッシュダウンできるようにします。これは通常、デフォルトで有効になっています。
   SET odps.use.builtin.function.input.range=true;
   -- set odps.mcqa.disable=true;
   SELECT * FROM test_multi_type_ppd WHERE c_id = 3;
   -- クエリは次の結果を返します。
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   | c_id | c_boolean | c_int | c_bigint   | c_double   | c_float | c_string | c_date | c_timestamp_tz | c_timestamp_ntz |
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   | 3    | true      | 30    | 3000       | 3.75       | -3.5    | gamma    | 2023-01-03 | 2023-01-03 10:00:00 | 2023-01-03 02:00:00 |
   +------+-----------+-------+------------+------------+---------+----------+--------+----------------+-----------------+
   -- Logview の概要セクションを確認します。次の情報が表示されます：
   external holo tables:
   	**.default.test_multi_type_ppd:Optimized
     Holo-side PPD enabled -->   Filter pushdown applied successfully
     Snapshot Id: 56-1-100***
     With-filter file count: 2
     With-filter create snapshot duration: 19ms

Hologres データを直接読み取る際の ODPS-0130071 エラー

• 問題

  直接読み取りモードで Hologres からデータを読み取ると、ジョブが ODPS-0130071 Failed to split to equal size...max count: 7777 のようなエラーで失敗します。例：

  ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: storage/table/src/input_splits_builder.cpp(195): StorageException: Failed to split to equal size, total size: 2143570729934, min size: 268435456, max size: 272629760, max count: 7777, split size: 275629513, split count: 7777

• 原因

  MaxCompute が Hologres からデータを読み取る際、デフォルトのデータ分割戦略により、マッパーインスタンスの数が 7,777 の同時実行数制限を超える可能性があります。

  説明

  この制限は、過剰な数のマッパーを持つジョブの実行を防ぎ、Hologres ファイルとネットワーク接続の安定性を保護します。

• ソリューション

  このエラーは、次のパラメーターを設定することで解決できます。

  SET odps.external.holo.mapper.instances=10000; -- 同時実行数制限を増やします。最大値は 10,000 です。
  SET odps.sql.mapper.split.size=512; -- ジョブの同時実行数を調整します。最大値は 512 MB です。

Hologres 外部テーブルでの SQL ジョブの低速化

• 問題

  SDK を使用して MaxCompute 外部テーブルのデータを検索すると、パフォーマンスが低下します。

• ソリューション

  外部テーブルはフルテーブルスキャンのみをサポートするため、パフォーマンスが低下します。パフォーマンスを向上させるには、代わりに MaxCompute 内部テーブルを使用してください。

列名がキーワードである場合のエラー

• 問題

  Hologres テーブルの列名がキーワードである場合、特別な設定なしではクエリが次のエラーで失敗する可能性があります：

  ODPS-0123131:User defined function exception - SQLException in nextKeyValue

  Caused by: org.postgresql.util.PSQLException: ERROR: syntax error at or near ","

• ソリューション

  odps.federation.jdbc.colmapping パラメーターを追加して、Hologres ソーステーブルの列を Hologres 外部テーブルの列にマッピングします。

  たとえば、Hologres ソーステーブルにキーワード "offset" が列名として含まれている場合、Hologres 外部テーブルを作成する際に 'odps.federation.jdbc.colmapping'='offset:"offset"' パラメーターを追加します。

ダブル署名モードでの password authentication failed for user "mcslr$STS.******" エラー

• 問題

  RAM ユーザーまたは RAM ロールがサービスリンクロール権限付与モード (ダブル署名モード) を使用して Hologres 外部テーブルを読み取ると、ジョブが password authentication failed for user "mcslr$STS.******" エラーで失敗する可能性があります。以下にエラーメッセージの例を示します：

  ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: splitByCommonTable() failed, dataSourceId=[TableScan1], tableId=[*****.*****], location=[jdbc:postgresql://hgpostcn-cn-*****-cn-beijing-internal.hologres.aliyuncs.com:80/*****?ApplicationName=MaxCompute&currentSchema=public&useSSL=false&table=*****/], rootCause -> common/table/jni/utils/jni_helper.cpp(126): UnretryableException: Common table io jni exception - ExceptionType: com.aliyun.odps.hive.wrapper.thrift.RequestException
  Message: null
  StackTrace:
  RequestException(reason:java.lang.RuntimeException: java.lang.RuntimeException: java.lang.RuntimeException: org.postgresql.util.PSQLException: FATAL: password authentication failed for user "mcslr$STS.*********"

• ソリューション

  このエラーは、ユーザーが Hologres のテーブルに対する必要な読み取り権限を持っていないことを示します。これを解決するには、Alibaba Cloud アカウントまたは管理者アカウントで Hologres コンソールにログインします。コンソールで Security Center に移動し、ユーザー管理にユーザーを追加し、必要なデータベース権限を付与します。

直接読み取りモードでの Holo-side PPD disabled --> The Holo snapshot PPD mode is enabled, but FAILED to push down the filter into Holo エラー

• エラーメッセージ

  Holo-side PPD disabled --> The Holo snapshot PPD mode is enabled, 
  but FAILED to push down the filter into Holo, 
  errorMsg[storage/table/src/holo/snapshot.cpp(319): 
  StorageException: Create/Get snapshot failed for table: test_multi_type_ppd partition:  
  Query:select holo_create_table_snapshot('public.test_multi_type_ppd', 259200, filter=>$$c_id = 3$$) with error ERROR:  
  internal error: Failed to build fragment dag desc: node type 65 is not supported

• ソリューション

  ご利用の Hologres 内部テーブルが「使用上の注意」の要件を満たしていることを確認してください。