AnalyticDB:CREATE EXTERNAL TABLE

Sintaksis

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
[PARTITIONED BY (column_name column_type[, …])]
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS {TEXTFILE|ORC|PARQUET|JSON|RCFILE|HUDI|ICEBERG|PAIMON}
LOCATION 'OSS_LOCATION'
[TBLPROPERTIES (
 'type' = 'cow|mor',
 'auto.create.location' = 'true|false',
 'metadata_location' = 'METADATA_LOCATION'
)];

Parameter

Contoh

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.osstest6
(id int,
name string,
age int,
city string)
PARTITIONED BY (p2 string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY  ','
STORED AS TEXTFILE
LOCATION  'oss://testBucketName/osstest/p1=hangzhou/';

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.osstest7
(id int,
name string,
age int,
city string)
PARTITIONED BY (p1 string,p2 string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY  ','
STORED AS TEXTFILE
LOCATION  'oss://testBucketName/osstest/';

Sintaksis

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='MYSQL'
TABLE_PROPERTIES='{  
	"url":"mysql_vpc_address",  
	"tablename":"mysql_table_name",  
	"username":"mysql_user_name",  
	"password":"mysql_user_password"
	[,"charset":"{gbk|utf8|utf8mb4}"]
  }';

Parameter

Contoh

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.mysqltest (
	id int,
	name varchar(1023),
	age int
 ) ENGINE = 'MYSQL'
 TABLE_PROPERTIES = '{
   "url":"jdbc:mysql://rm-bp1gx6********.mysql.rds.aliyuncs.com:3306/test_adb",
   "tablename":"person",
   "username":"testUserName",
   "password":"testUserPassword",
   "charset":"utf8"
}';

Sintaksis

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='MONGODB'
TABLE_PROPERTIES = '{
	"mapped_name":"table",
  "location":"location",
  "username":"user",
  "password":"password",
}';

Parameter

Contoh

CREATE EXTERNAL TABLE adb_external_demo.mongodbtest (
  id int,
  name string,
  age int
) ENGINE = 'MONGODB' TABLE_PROPERTIES ='{
"mapped_name":"person",
"location":"mongodb://testuser:****@dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717,dds-bp113d414bca8****.mongodb.rds.aliyuncs.com:3717/test_mongodb",
"username":"testuser",
"password":"password",
}';

Sintaksis

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='OTS'
TABLE_PROPERTIES = '{
	"mapped_name":"table_name",
	"location":"tablestore_vpc_address"
}';

Parameter

Contoh

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.otstest (
	id int,
	name string,
	age int
) ENGINE = 'OTS' 
TABLE_PROPERTIES = '{
	"mapped_name":"person",
	"location":"https://w0****la.cn-hangzhou.vpc.tablestore.aliyuncs.com"
}';

Sintaksis

CREATE EXTERNAL TABLE [IF NOT EXISTS] table_name
(column_name column_type[, …])
ENGINE='ODPS'
TABLE_PROPERTIES='{
	"endpoint":"endpoint",
	"accessid":"accesskey_id",
	"accesskey":"accesskey_secret",
	["partition_column":"partition_column"],
	"project_name":"project_name",
	"table_name":"table_name",
	["auto_refresh":"true|false"],
	["auto_refresh_mode":"add_only|full"]
}';

Parameter

Contoh

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.mctest (
	id int,
	name varchar(1023),
	age int,
	dt string
) ENGINE='ODPS'
TABLE_PROPERTIES='{
	"accessid":"LTAI****************",
	"endpoint":"http://service.cn-hangzhou.maxcompute.aliyun.com/api",
	"accesskey":"yourAccessKeySecret",
	"partition_column":"dt",
	"project_name":"test_adb",
	"table_name":"person"
}';

Refresh skema otomatis (auto refresh)

Tabel eksternal MaxCompute mendukung refresh skema otomatis. Setelah diaktifkan, perubahan skema di tabel sumber MaxCompute disinkronkan secara otomatis ke tabel eksternal pada setiap siklus refresh, tanpa perlu membuat ulang tabel eksternal atau merefresh-nya secara manual. Apakah fitur ini diaktifkan dan cakupan refresh-nya dikendalikan oleh parameter auto_refresh dan auto_refresh_mode yang Anda tentukan saat membuat tabel. Untuk informasi selengkapnya, lihat Parameter di atas.

Konfigurasi tingkat kluster

Sebelum menggunakan pengaturan tingkat tabel auto_refresh=true untuk mengaktifkan refresh skema otomatis, Anda harus menjalankan pernyataan berikut untuk mengaktifkan sakelar refresh otomatis tingkat kluster.

-- Aktifkan fitur refresh skema otomatis.
SET ADB_CONFIG external_table_schema_refresh_enabled=true;

-- Interval polling untuk refresh skema otomatis, dalam milidetik. Nilai default: 300000 (5 menit). Konfigurasi ini berlaku setelah Anda restart kluster.
SET ADB_CONFIG external_table_schema_refresh_poll_interval_ms=300000;

Contoh

Contoh berikut membuat tabel eksternal MaxCompute dengan refresh skema otomatis diaktifkan dalam mode add_only:

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.mctest_add_only (
	id BIGINT,
	name VARCHAR(1024),
	amount DOUBLE
) ENGINE='ODPS'
TABLE_PROPERTIES='{
	"accessid":"LTAI****************",
	"accesskey":"yourAccessKeySecret",
	"endpoint":"https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api",
	"project_name":"test_adb",
	"table_name":"person",
	"auto_refresh":"true",
	"auto_refresh_mode":"add_only"
}';

Setelah kolom ditambahkan ke tabel sumber MaxCompute, tabel eksternal secara otomatis menambahkan kolom yang sesuai setelah refresh berikutnya. Kolom yang dihapus atau perubahan tipe kolom di tabel sumber tidak diterapkan secara otomatis.

Contoh berikut membuat tabel eksternal MaxCompute dengan refresh skema otomatis diaktifkan dalam mode full:

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_demo.mctest_full (
	id BIGINT,
	name VARCHAR(1024),
	amount DOUBLE
) ENGINE='ODPS'
TABLE_PROPERTIES='{
	"accessid":"LTAI****************",
	"accesskey":"yourAccessKeySecret",
	"endpoint":"https://service.cn-hangzhou-vpc.maxcompute.aliyun-inc.com/api",
	"project_name":"test_adb",
	"table_name":"person",
	"auto_refresh":"true",
	"auto_refresh_mode":"full"
}';

Setelah kolom ditambahkan, dihapus, atau tipe kolomnya diubah di tabel sumber MaxCompute, tabel eksternal menyinkronkan metadata setelah refresh berikutnya.

Catatan penggunaan

• Refresh skema otomatis hanya didukung untuk tabel eksternal MaxCompute yang menggunakan ENGINE='ODPS'.

• add_only adalah mode default dan cocok untuk lingkungan produksi yang hanya mengizinkan penambahan kolom.

• Mode full secara otomatis menyinkronkan kolom yang dihapus dan perubahan tipe kolom, yang dapat memengaruhi pernyataan SQL, aplikasi, laporan, atau tampilan yang bergantung pada kolom lama. Gunakan mode ini dengan hati-hati.

• Jika Anda membuat tampilan yang menggunakan * pada tabel eksternal MaxCompute (misalnya, CREATE VIEW view_name AS SELECT * FROM external_table), * diekspansi dan disimpan sebagai daftar tetap kolom saat tampilan dibuat. Setelah mode full menyinkronkan kolom yang dihapus atau diganti nama dari tabel sumber dan perubahan tersebut melibatkan kolom yang disimpan di tampilan, kueri terhadap tampilan akan mengembalikan error yang menunjukkan bahwa tampilan sudah usang dan harus dibuat ulang. Ini adalah perilaku yang diharapkan. Kami menyarankan agar Anda menghindari penggunaan * dalam tampilan. Untuk informasi selengkapnya, lihat CREATE VIEW.