AnalyticDB：通過外表匯入MaxCompute資料

進入SQL編輯器。

建立外部資料庫。樣本如下：

CREATE EXTERNAL DATABASE adb_external_db;

建立外表。本文樣本為test_adb。

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_db.test_adb (
    id int,
    name varchar(1023),
    age int,
    dt string
    ) ENGINE='ODPS'
TABLE_PROPERTIES='{
"accessid":"yourAccessKeyID",
"endpoint":"http://service.cn-hangzhou.maxcompute.aliyun.com/api",
"accesskey":"yourAccessKeySecret",
"partition_column":"dt",
"project_name":"odps_project",
"table_name":"odps_nopart_import_test"
}';

查詢資料。

SELECT * FROM adb_external_db.test_adb;

返回結果如下：

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+

執行以下步驟將MaxCompute資料匯入至AnalyticDB for MySQL。

1. 在AnalyticDB for MySQL中建立資料庫，樣本如下：

   CREATE DATABASE adb_demo; 

2. 在AnalyticDB for MySQL中建立表用於儲存從MaxCompute中匯入的資料，樣本如下：

   說明

   新表和步驟3中建立的外表的欄位順序和欄位數量需要一致，欄位類型相容。

   CREATE TABLE IF NOT EXISTS adb_demo.adb_import_test(
       id int,
       name string,
       age int,
       dt string,
       PRIMARY KEY(id,dt)
   )
   DISTRIBUTED BY HASH(id)  
   PARTITION BY VALUE('dt'); 

3. 向表中寫入資料，樣本如下：

   • 方式一：執行INSERT INTO匯入資料，當主鍵重複時會自動忽略當前寫入資料，不做更新，作用等同於INSERT IGNORE INTO，詳情請參見INSERT INTO。樣本如下：

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     如果需要將特定分區的資料匯入adb_demo.adb_import_test，可以執行：

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb 
     WHERE dt = '202207'; 

   • 方式二：執行INSERT OVERWRITE INTO匯入資料，會覆蓋表中原有的資料。樣本如下：

     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

   • 方式三：非同步執行INSERT OVERWRITE INTO匯入資料。通常使用SUBMIT JOB提交非同步任務，由後台調度，可以在寫入任務前增加Hint（/*+ direct_batch_load=true*/）加速寫入任務。詳情請參見非同步寫入。樣本如下：

     SUBMIT job 
     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     返回結果如下：

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |
     +---------------------------------------+

     關於非同步提交任務詳情，請參見非同步提交匯入任務。

進入SQL編輯器。

建立資料庫。如果有已建立的資料庫，可以忽略本步驟。樣本如下：

CREATE DATABASE adb_demo; 

建立外表。

CREATE TABLE IF NOT EXISTS test_adb
(
    id int,
    name string,
    age int,
    dt string
)
 ENGINE='ODPS'
 TABLE_PROPERTIES='{
 "endpoint":"http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api",
 "accessid":"yourAccessKeyID",
 "accesskey":"yourAccessKeySecret",
 "partition_column":"dt",
 "project_name":"odps_project",
 "table_name":"odps_nopart_import_test"
 }';                 

外表支援設定的參數及參數說明，請參見參數說明。

查詢資料。

SELECT * FROM adb_demo.test_adb;

返回結果如下：

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+

在AnalyticDB for MySQL中建立表用於儲存從MaxCompute中匯入的資料。樣本如下：

CREATE TABLE IF NOT EXISTS adb_import_test
(   id int,
    name string,
    age int,
    dt string,
    PRIMARY KEY(id,dt)
)
DISTRIBUTED BY HASH(id)
PARTITION BY VALUE('dt') LIFECYCLE 30;  

匯入資料。

（可選）查看已提交的匯入任務是否為彈性匯入任務。

SELECT job_name, (job_type = 3) AS is_elastic_load FROM INFORMATION_SCHEMA.kepler_meta_async_jobs WHERE job_name = "2023081818010602101701907303151******";

返回結果如下：

+---------------------------------------+------------------+
| job_name                              | is_elastic_load  |
+---------------------------------------+------------------+
| 2023081517195203101701907203151****** |       1          |
+---------------------------------------+------------------+

is_elastic_load的傳回值為1，表示已提交的匯入任務是彈性匯入任務；若為0，則表示已提交的匯入任務是常規匯入任務。