AnalyticDB:外部テーブルを使用した MaxCompute データのインポート

SQL エディターに移動します。

外部データベースを作成します。次の文は一例です:

CREATE EXTERNAL DATABASE adb_external_db;

外部テーブルを作成します。このトピックでは、test_adb を例として使用します。

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_db.test_adb (
    id int,
    name varchar(1023),
    age int,
    dt string
    ) ENGINE='ODPS'
TABLE_PROPERTIES='{
"accessid":"yourAccessKeyID",
"endpoint":"http://service.cn-hangzhou.maxcompute.aliyun.com/api",
"accesskey":"yourAccessKeySecret",
"partition_column":"dt",
"project_name":"odps_project",
"table_name":"odps_nopart_import_test"
}';

データをクエリします。

SELECT * FROM adb_external_db.test_adb;

次の結果が返されます:

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+

次のステップを実行して、MaxCompute から AnalyticDB for MySQL にデータをインポートします。

1. AnalyticDB for MySQL にデータベースを作成します。次の文は一例です:

   CREATE DATABASE adb_demo; 

2. AnalyticDB for MySQL にテーブルを作成して、MaxCompute からインポートされたデータを格納します。次の文は一例です:

   説明

   新しいテーブルとステップ 3 で作成した外部テーブルは、同じフィールド順序とフィールド数を持つ必要があります。フィールドのデータの型は互換性がある必要があります。

   CREATE TABLE IF NOT EXISTS adb_demo.adb_import_test(
       id int,
       name string,
       age int,
       dt string,
       PRIMARY KEY(id,dt)
   )
   DISTRIBUTED BY HASH(id)  
   PARTITION BY VALUE('dt'); 

3. テーブルにデータを書き込みます。次のサンプル文を使用します:

   • 方法 1: `INSERT INTO` 文を実行してデータをインポートします。プライマリキーが重複している場合、データは自動的に無視され、更新されません。この操作は INSERT IGNORE INTO と同等です。詳細については、「INSERT INTO」をご参照ください。次の文は一例です:

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     adb_demo.adb_import_test に特定のパーティションからデータをインポートするには、次の文を実行します:

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb 
     WHERE dt = '202207'; 

   • 方法 2: `INSERT OVERWRITE INTO` 文を実行してデータをインポートします。この文は、テーブル内の既存のデータを上書きします。次の文は一例です:

     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

   • 方法 3: `INSERT OVERWRITE INTO` 文を非同期で実行してデータをインポートします。SUBMIT JOB コマンドを使用して非同期タスクを送信できます。タスクはバックエンドによってスケジュールされます。書き込みタスクの前にヒント (/*+ direct_batch_load=true*/) を追加して、タスクを高速化できます。詳細については、「非同期書き込み」をご参照ください。次の文は一例です:

     SUBMIT job 
     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     次の結果が返されます:

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |
     +---------------------------------------+

     詳細については、「非同期でのインポートタスクの送信」をご参照ください。

SQL エディターに移動します。

データベースを作成します。データベースが既に存在する場合は、このステップをスキップできます。次の文は一例です:

CREATE DATABASE adb_demo; 

外部テーブルを作成します。

CREATE TABLE IF NOT EXISTS test_adb
(
    id int,
    name string,
    age int,
    dt string
)
 ENGINE='ODPS'
 TABLE_PROPERTIES='{
 "endpoint":"http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api",
 "accessid":"yourAccessKeyID",
 "accesskey":"yourAccessKeySecret",
 "partition_column":"dt",
 "project_name":"odps_project",
 "table_name":"odps_nopart_import_test"
 }';                 

外部テーブルに設定できるパラメーターの詳細については、「パラメーターの説明」をご参照ください。

データをクエリします。

SELECT * FROM adb_demo.test_adb;

次の結果が返されます:

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+

AnalyticDB for MySQL にテーブルを作成して、MaxCompute からインポートされたデータを格納します。次の文は一例です:

CREATE TABLE IF NOT EXISTS adb_import_test
(   id int,
    name string,
    age int,
    dt string,
    PRIMARY KEY(id,dt)
)
DISTRIBUTED BY HASH(id)
PARTITION BY VALUE('dt') LIFECYCLE 30;  

データをインポートします。

(オプション) 送信されたインポートタスクがエラスティックインポートタスクであるかどうかを確認します。

SELECT job_name, (job_type = 3) AS is_elastic_load FROM INFORMATION_SCHEMA.kepler_meta_async_jobs WHERE job_name = "2023081818010602101701907303151******";

結果は次のようになります:

+---------------------------------------+------------------+
| job_name                              | is_elastic_load  |
+---------------------------------------+------------------+
| 2023081517195203101701907203151****** |       1          |
+---------------------------------------+------------------+

is_elastic_load の戻り値は、エラスティックインポートタスクの場合は 1、通常のインポートタスクの場合は 0 です。