AnalyticDB:CREATE EXTERNAL TABLE

構文

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
[PARTITIONED BY (column_name column_type[, …])]
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS {TEXTFILE|ORC|PARQUET|JSON|RCFILE|HUDI|ICEBERG|PAIMON}
LOCATION 'OSS_LOCATION'
[TBLPROPERTIES (
 'type' = 'cow|mor',
 'auto.create.location' = 'true|false',
 'metadata_location' = 'METADATA_LOCATION'
)];

パラメーター

例

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.osstest6
(id int,
name string,
age int,
city string)
PARTITIONED BY (p2 string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY  ','
STORED AS TEXTFILE
LOCATION  'oss://testBucketName/osstest/p1=hangzhou/';

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.osstest7
(id int,
name string,
age int,
city string)
PARTITIONED BY (p1 string,p2 string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY  ','
STORED AS TEXTFILE
LOCATION  'oss://testBucketName/osstest/';

構文

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='MYSQL'
TABLE_PROPERTIES='{  
	"url":"mysql_vpc_address",  
	"tablename":"mysql_table_name",  
	"username":"mysql_user_name",  
	"password":"mysql_user_password"
	[,"charset":"{gbk|utf8|utf8mb4}"]
  }';

パラメーター

例

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.mysqltest (
	id int,
	name varchar(1023),
	age int
 ) ENGINE = 'MYSQL'
 TABLE_PROPERTIES = '{
   "url":"jdbc:mysql://rm-bp1gx6********.mysql.rds.aliyuncs.com:3306/test_adb",
   "tablename":"person",
   "username":"testUserName",
   "password":"testUserPassword",
   "charset":"utf8"
}';

構文

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='MONGODB'
TABLE_PROPERTIES = '{
	"mapped_name":"table",
  "location":"location",
  "username":"user",
  "password":"password",
}';

パラメーター

例

CREATE EXTERNAL TABLE adb_external_demo.mongodbtest (
  id int,
  name string,
  age int
) ENGINE = 'MONGODB' TABLE_PROPERTIES ='{
"mapped_name":"person",
"location":"mongodb://testuser:****@dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717,dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717/test_mongodb",
"username":"testuser",
"password":"password",
}';

構文

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OTS'
TABLE_PROPERTIES = '{
	"mapped_name":"table_name",
	"location":"tablestore_vpc_address"
}';

パラメーター

例

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.otstest (
	id int,
	name string,
	age int
) ENGINE = 'OTS' 
TABLE_PROPERTIES = '{
	"mapped_name":"person",
	"location":"https://w0****la.cn-hangzhou.vpc.tablestore.aliyuncs.com"
}';

構文

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='ODPS'
TABLE_PROPERTIES='{
	"endpoint":"endpoint",
	"accessid":"accesskey_id",
	"accesskey":"accesskey_secret",
	["partition_column":"partition_column"],
	"project_name":"project_name",
	"table_name":"table_name",
	["auto_refresh":"true|false"],
	["auto_refresh_mode":"add_only|full"]
}';

パラメーター

例

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.mctest (
	id int,
	name varchar(1023),
	age int,
	dt string
) ENGINE='ODPS'
TABLE_PROPERTIES='{
	"accessid":"LTAI****************",
	"endpoint":"http://service.cn-hangzhou.maxcompute.aliyun.com/api",
	"accesskey":"yourAccessKeySecret",
	"partition_column":"dt",
	"project_name":"test_adb",
	"table_name":"person"
}';

自動スキーマ更新 (auto refresh)

MaxCompute 外部テーブルは、自動スキーマ更新をサポートしています。有効にすると、MaxCompute ソーステーブルのスキーマの変更が、外部テーブルを再作成したり手動で更新したりすることなく、各更新サイクルで外部テーブルに自動的に同期されます。有効にするかどうか、および更新の範囲は、テーブルを作成するときに指定する auto_refresh および auto_refresh_mode パラメーターによって制御されます。詳細については、上記のパラメーターをご参照ください。

クラスターレベルの構成

テーブルレベルの auto_refresh=true 設定を使用して自動スキーマ更新を有効にする前に、次の文を実行してクラスターレベルの自動更新スイッチを有効にする必要があります。

-- 自動スキーマ更新機能を有効にします。
SET ADB_CONFIG external_table_schema_refresh_enabled=true;

-- 自動スキーマ更新のポーリング間隔 (ミリ秒単位)。デフォルト値: 300000 (5 分)。この構成は、クラスターを再起動した後に有効になります。
SET ADB_CONFIG external_table_schema_refresh_poll_interval_ms=300000;

例

次の例では、add_only モードで自動スキーマ更新が有効になっている MaxCompute 外部テーブルを作成します。

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.mctest_add_only (
	id BIGINT,
	name VARCHAR(1024),
	amount DOUBLE
) ENGINE='ODPS'
TABLE_PROPERTIES='{
	"accessid":"LTAI****************",
	"accesskey":"yourAccessKeySecret",
	"endpoint":"https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api",
	"project_name":"test_adb",
	"table_name":"person",
	"auto_refresh":"true",
	"auto_refresh_mode":"add_only"
}';

MaxCompute ソーステーブルに列が追加されると、外部テーブルは次の更新後に対応する列を自動的に追加します。ソーステーブルで削除された列や列の型の変更は自動的に適用されません。

次の例では、full モードで自動スキーマ更新が有効になっている MaxCompute 外部テーブルを作成します。

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.mctest_full (
	id BIGINT,
	name VARCHAR(1024),
	amount DOUBLE
) ENGINE='ODPS'
TABLE_PROPERTIES='{
	"accessid":"LTAI****************",
	"accesskey":"yourAccessKeySecret",
	"endpoint":"https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api",
	"project_name":"test_adb",
	"table_name":"person",
	"auto_refresh":"true",
	"auto_refresh_mode":"full"
}';

MaxCompute ソーステーブルで列が追加、削除、または型が変更されると、外部テーブルは次の更新後にメタデータを同期します。

注意事項

• 自動スキーマ更新は、ENGINE='ODPS' を使用する MaxCompute 外部テーブルでのみサポートされます。

• add_only はデフォルトモードであり、列の追加のみが許可される本番環境に適しています。

• full モードは、削除された列と列の型の変更を自動的に同期します。これは、古い列に依存する SQL 文、アプリケーション、レポート、またはビューに影響を与える可能性があります。このモードは注意して使用してください。

• MaxCompute 外部テーブルで * を使用するビューを作成した場合 (例: CREATE VIEW view_name AS SELECT * FROM external_table)、* はビューの作成時に展開され、固定の列リストとして保存されます。full モードがソーステーブルから削除または名前変更された列を同期し、その変更がビューに保存されている列に関係する場合、ビューをクエリすると、ビューが古く、再作成する必要があることを示すエラーが返されます。これは予期された動作です。ビューで * を使用しないことを推奨します。詳細については、「CREATE VIEW」をご参照ください。