AnalyticDB：Impor Data MaxCompute Menggunakan Tabel Eksternal

Navigasikan ke editor SQL.

Buat basis data eksternal. Pernyataan contoh berikut digunakan:

CREATE EXTERNAL DATABASE adb_external_db;

Buat tabel eksternal. Topik ini menggunakan test_adb sebagai contoh.

CREATE EXTERNAL TABLE IF NOT EXISTS adb_external_db.test_adb (
    id int,
    name varchar(1023),
    age int,
    dt string
    ) ENGINE='ODPS'
TABLE_PROPERTIES='{
"accessid":"yourAccessKeyID",
"endpoint":"http://service.cn-hangzhou.maxcompute.aliyun.com/api",
"accesskey":"yourAccessKeySecret",
"partition_column":"dt",
"project_name":"odps_project",
"table_name":"odps_nopart_import_test"
}';

Kueri data.

SELECT * FROM adb_external_db.test_adb;

Hasil berikut dikembalikan:

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+

Ikuti langkah-langkah berikut untuk mengimpor data dari MaxCompute ke AnalyticDB for MySQL.

1. Buat basis data di AnalyticDB for MySQL. Berikut adalah contoh pernyataannya:

   CREATE DATABASE adb_demo; 

2. Buat tabel di AnalyticDB for MySQL untuk menyimpan data yang diimpor dari MaxCompute. Berikut adalah contoh pernyataannya:

   Catatan

   Tabel baru dan tabel eksternal yang Anda buat di Langkah 3 harus memiliki urutan bidang dan jumlah bidang yang sama. Tipe data bidang harus kompatibel.

   CREATE TABLE IF NOT EXISTS adb_demo.adb_import_test(
       id int,
       name string,
       age int,
       dt string,
       PRIMARY KEY(id,dt)
   )
   DISTRIBUTED BY HASH(id)  
   PARTITION BY VALUE('dt'); 

3. Tulis data ke tabel. Pernyataan contoh berikut digunakan:

   • Metode 1: Jalankan pernyataan `INSERT INTO` untuk mengimpor data. Jika kunci utama duplikat ada, data secara otomatis diabaikan dan tidak diperbarui. Operasi ini setara dengan INSERT IGNORE INTO. Untuk informasi lebih lanjut, lihat INSERT INTO. Pernyataan berikut adalah contohnya:

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     Untuk mengimpor data dari partisi tertentu ke adb_demo.adb_import_test, Anda dapat menjalankan pernyataan berikut:

     INSERT INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb 
     WHERE dt = '202207'; 

   • Metode 2: Jalankan pernyataan `INSERT OVERWRITE INTO` untuk mengimpor data. Pernyataan ini menimpa data yang ada di tabel. Pernyataan berikut adalah contohnya:

     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

   • Metode 3: Secara asinkron jalankan pernyataan `INSERT OVERWRITE INTO` untuk mengimpor data. Anda dapat menggunakan perintah SUBMIT JOB untuk mengirimkan tugas asinkron. Tugas dijadwalkan oleh backend. Anda dapat menambahkan petunjuk (/*+ direct_batch_load=true*/) sebelum tugas tulis untuk mempercepat tugas. Untuk informasi lebih lanjut, lihat Penulisan Asinkron. Pernyataan berikut adalah contohnya:

     SUBMIT job 
     INSERT OVERWRITE INTO adb_demo.adb_import_test
     SELECT * FROM adb_external_db.test_adb;

     Hasil berikut dikembalikan:

     +---------------------------------------+
     | job_id                                |
     +---------------------------------------+
     | 2020112122202917203100908203303****** |
     +---------------------------------------+

     Untuk informasi selengkapnya, lihat Mengirim tugas impor secara asinkron.

Navigasikan ke editor SQL.

Buat database. Anda dapat melewati langkah ini jika database sudah ada. Pernyataan berikut adalah contohnya:

CREATE DATABASE adb_demo; 

Buat tabel eksternal.

CREATE TABLE IF NOT EXISTS test_adb
(
    id int,
    name string,
    age int,
    dt string
)
 ENGINE='ODPS'
 TABLE_PROPERTIES='{
 "endpoint":"http://service.cn-hangzhou.maxcompute.aliyun-inc.com/api",
 "accessid":"yourAccessKeyID",
 "accesskey":"yourAccessKeySecret",
 "partition_column":"dt",
 "project_name":"odps_project",
 "table_name":"odps_nopart_import_test"
 }';                 

Untuk informasi lebih lanjut tentang parameter yang dapat Anda atur untuk tabel eksternal, lihat Deskripsi Parameter.

Kueri data.

SELECT * FROM adb_demo.test_adb;

Hasil berikut dikembalikan:

+------+-------+------+---------+
| id   | name  | age  |   dt    |
+------+-------+------+---------+
|    1 | james |   10 |  202207 |
|    2 | bond  |   20 |  202207 |
|    3 | jack  |   30 |  202207 |
|    4 | lucy  |   40 |  202207 |
+------+-------+------+---------+

Buat tabel di AnalyticDB for MySQL untuk menyimpan data yang diimpor dari MaxCompute. Berikut adalah contoh pernyataannya:

CREATE TABLE IF NOT EXISTS adb_import_test
(   id int,
    name string,
    age int,
    dt string,
    PRIMARY KEY(id,dt)
)
DISTRIBUTED BY HASH(id)
PARTITION BY VALUE('dt') LIFECYCLE 30;  

Impor data.

(Opsional) Periksa apakah tugas impor yang dikirimkan adalah tugas impor elastis.

SELECT job_name, (job_type = 3) AS is_elastic_load FROM INFORMATION_SCHEMA.kepler_meta_async_jobs WHERE job_name = "2023081818010602101701907303151******";

Hasilnya adalah sebagai berikut:

+---------------------------------------+------------------+
| job_name                              | is_elastic_load  |
+---------------------------------------+------------------+
| 2023081517195203101701907203151****** |       1          |
+---------------------------------------+------------------+

Nilai kembali dari is_elastic_load adalah 1 untuk tugas impor elastis dan 0 untuk tugas impor biasa.